データマイニング班は今日で15週間が終了。来週は期末テスト期間ですが、学生実験的にはその代わりに最終発表という形でプレゼンしてもらう形になります。ということもあって、多くのグループがコード／結果の整理やらで大わらわ。発表自体は 2/11(水) にやる予定なので、暫く間が空くな。ついで（？）に、バージョン管理した開発してない学生への追加課題として口頭試問をすることに。ちゃんとやってればこんなことしなくても良いのに〜。 空き時間で実験2のレポート採点するつもりが、修論チェックが届いたのでそちらの校正を。とっととやらないと修正する時間無くなるし。明日には全体校正し終えたいけど終わるかしら。数十ページの論文校正は時間かかるものだし。 といい …

続きを読む

3年次向け実験データマイニング班での目的の一つは、 怪奇!! 次元の呪い – 識別問題、パターン認識、データマイニングの初心者のために [ 前編 | 後編 ] の記事を読んで理解できる、イメージできるようになることです。それに向けて第1回〜5回までの内容を組み上げてみています。ちゃんと読めるようになってるかは「？」なところもありますが、少なからずイメージできているのではないかなと期待しています。 ということで、6回目となる今日は総復習編という位置付けで真新しい内容はほぼゼロの、復習祭りでした。 [実験テキスト]: 機械学習概観の振り返り: PDF（振り返りのみ） 関連記事紹介: [ UCI Machine Learning …

続きを読む

デザインスクールの追い込み時期にも差し掛かってそろそろ倒れたいです（違） データマイニング班5周目が終わりました。内容としては先週実装した線形回帰モデルにおける「線形って何？」とか「入出力の対応関係における線形・非線形」の話をしたり、線形モデルを多項式モデルに拡張した実装例を示したり、その過程でモデルの自由度と過学習の話をしたり、それを防ぐための例としてペナルティ項・テストを導入しようといった話をコード示しつつやってました。やや詰め込み過ぎ感ありますが、振り返る前提なのでこんなものかなーと楽観視してますｗ 事例紹介: 文書の自動分類例 CAPTHCAにおける前後の動作を踏まえた特徴の利用例。 話題: TensorFlow [ …

続きを読む

ということでデータマイニング班13回目は成果物公開に向けて準備することと、最終発表について告知。それ以外は通常通りの進捗確認ぐらいですが、見逃してた／言い逃していたコードレビューもグループ毎にあれこれ（これは先週末にやった話）。 実質的にコード書いてないorそれに準ずる学生がいるのだけど、どうしようかしら。発表終わった後で個別口頭試問というかコード解説してもらうとかやるかなぁ。

続きを読む

大学スケジュールのおかげでちょくちょく休みが入ってるのでなかなか進まず、やっとこさ4週目です。単に4回目をこなすというだけではなくて、復習の復習の復習、、、と、忘れてしまってることを前提に振り返り時間をそこそこ長めに取ってやってます。その方が繰り返しにもなることはなるけど、ここまで間が空いた繰り返しの効果は「ほぼ毎回初出でやってる場合」と大差ないのだろうなとも思われ。ちょっと悲しい。。
そんなこんなで4週目はこんな内容でした。最小二乗法ベースでの実装演習ということで、クラス設計したり細かく動作確認してcommit&pushしたり。そろそろ前半戦（機械学習概観）に一区切りかなー。 事例紹介: 分類・クラスタリングの例数件。ツ …

続きを読む

昨日のデータマイニング班な話。グループ開発に入って5週目。残り4週ぐらい。今週がおおよそ中間ぐらいの時期なのと、年末年始で忘れてることも多いだろうということで達成目標を再度示しつつ、学生実験としての抽象化された目標も含めた「学生実験3,4を通して達成して欲しいこと」を準備。これに答えることを通して再確認＆残りの週で1つでも良いから一歩前進してみよう、という趣旨でアンケート回答して貰いました。 ついでにリポジトリもチェックするかということで記入させたので、合間の時間を見繕ってチェック。大雑把には hg log | grep user | sort | uniq -c してみたり。具体的にコード眺めて気になる点へコメントしたり。実験中に …

続きを読む

授業も4週目に突入ということでそろそろ前半戦修了な季節らしいです。予定では半分前の6週目までにやっておきたいことを終わり、7〜8週目に実際にやりたいテーマ設計、9週目からそのテーマに則した開発＆実験（＝1ヶ月ちょいで1回実験回すのが目標）、というストーリーを想定しているのですが、その通りに進められるかはまだ怪しいな。取りあえず過学習・正則化、scikit-learnのツールとしての使い方、ぐらいは少なくともやる予定です。 データマイニング班4週目はこんな感じで、毎週やってる事例紹介を除くと、4週目のメインは「線形回帰モデル(最小二乗法)の実装演習」で、最小二乗法ベースでパラメータ推定する線形回帰モデルを実装してみよう（numpy）、 …

続きを読む

デザインスクールやら科研費やらで後回しになってたデータマイニング班の準備が、授業開始1時間前ぐらいに終了。一昨日の晩から何やるか検討しつつではあったのだけど、あれこれ迷った挙げ句に（学科の教育目標でも掲げている）モデルの話から初めて線形回帰モデルと最急降下法の話をすることに。仮説としてパラメータ混じりの数式、特にここでは一番シンプルな線形和を用意し、そこから損失関数と目的関数を用意して、パラメータを最適化する。変数が少ないなら最小二乗法で十分だけど、より扱いやすい手法として最急降下法を。その合間合間に「そもそもこの文脈におけるモデルって何？」「モデルってどう用意したら良いんだろう？」「モデルの良さってどう図るの？」「パラメータはどう …

続きを読む

をこんな感じでやってました。 Python演習はPython独特な話で事例示してから40分ぐらい自己演習。自分で読み書きしないと気付けないこと一杯あるし。課題は取りあえずインタプリタとスクリプトでの違い、print()、リスト、数値演算、フロー制御、、といったあたりの課題を用意。後2週間ぐらいは毎週プログラミング演習時間を取ります。具体的に書いたコードを見るのもやりますが、今の調子だと早くて再来週になりそう。後は標準でついてるpydoctest + pydocな話したぐらい。 機械学習概観は皆で英文読みながら少しずつ解釈・解読して、具体的な分類問題を討論・検討して終了。今回に限らないですが、実験中はがしがし学生に質問当てまくります。 …

続きを読む

どういう特徴を盛り込むべきかといった特徴設計するよりも生データをそのままぶち込めという話もちらほらでつつあるようですが、それでもどこかしら「お膳立て」してるというのが実態。データマイニング班11回目は、クラスタリングでつまづいてる or 込み入ったタスクを一つの学習で済まそうとしてしまっていたので、クラスタリングについての補足とKISS原則（小さく作り、組み合わせる）な補足。取り組んでる問題が難しそうに見えるなら、直接体当たりするのではなく分割できないか考えてみよう。何でも分割することが正義ではないのだけど、多くの問題は分割することで解きやすくなるのは事実。 来週火曜日は授業お休みなので、次回のデータマイニング班は年明けになるらし …

続きを読む