データマイニング班3回目は線形回帰モデルと最急降下法

デザインスクールやら科研費やらで後回しになってたデータマイニング班の準備が、授業開始1時間前ぐらいに終了。一昨日の晩から何やるか検討しつつではあったのだけど、あれこれ迷った挙げ句に（学科の教育目標でも掲げている）モデルの話から初めて線形回帰モデルと最急降下法の話をすることに。仮説としてパラメータ混じりの数式、特にここでは一番シンプルな線形和を用意し、そこから損失関数と目的関数を用意して、パラメータを最適化する。変数が少ないなら最小二乗法で十分だけど、より扱いやすい手法として最急降下法を。その合間合間に「そもそもこの文脈におけるモデルって何？」「モデルってどう用意したら良いんだろう？」「モデルの良さってどう図るの？」「パラメータはどう決められそう？」「実測値と推定値との差ってどう表現するの？」と質問攻めしながらやるのがいつものやり方。

若干詰め込み過ぎ感もあるんですが、時間一杯使って具体的に数式解かせながら（偏微分させたりパラメータ指定して実際に求めてみたり）とかやってるので「何となく分かった」ぐらいにはなってるんじゃないかと。後は資料見直したり参考サイト眺めたりしながら理解を深めてくれれば。courseraのMachine Learningだと動画で説明してくれるし。あ、勿論英語ですが。講義ではなくて実験なので、より詳しくとかより一般的にはとかって話をする時間は無さげだし。次回は多分過学習と正則化やれると良いか。