複雑研全体ゼミの輪読3回目が終わりました。今日は4.2節〜5.3節あたりの話。教師データからの誤差に基づいた損失関数と、勾配法による最適化、それを組み合わせる形で微分に基づくNNの重み調整イメージに、連鎖率に基づく逆伝搬という考え方の導入ぐらいまで。教科書にも手計算できるレベルの例題を出してくれてるけど、皆ちゃんとやってるか〜。
P.S.
車やめて徒歩生活＋自炊生活になってから、長期的にはゆっくりと痩せ続けてます。ただし短期的には太ったりしてて、特に2016年はかなりやばくて健康診断で強くダメ出しされたレベル。年明けから自重するようにして5ヶ月目ですが、教員生活してから64kgジャスト、体脂肪率22%弱、体年齢36（実年齢-6）を記録しました。良い意味で初めて。平均体脂肪率にぎりぎり入ってるライン。皆もピザ食べて健康になろう（今日の晩御飯）。
複雑研全体ゼミの輪読2回目が終わりました。今日で3章後半から4章の途中までが終わり、階層型NNのモデル化・実装と損失関数の導入まで進みました。実際に細かく動かしながら進むので、ブラックボックスな部分は「ほぼ」無い状態。実際には「何故そういう設定になっているのか」が不明なまま進んでいる箇所もあるんですが、全てを解説し尽くすのも無理だし仕方ない。多少は討論で補いつつ、それ以外については「後で出てくるはず」ということにして先に進むことに。
P.S.
肩甲骨はがしなるストレッチがあることを教えてもらい、早速やってみてます。動かすだけでも効果あるだろうし。
複雑研全体ゼミでゼロから作るDeep Learningの輪読をやっています。1回目は私が学生実験の都合でキャンセル。2回目はガイダンス（論文の読み方とか）に利用。3回目は関連イベント参加に代替。4回目はGWということで、実質的な輪読は今日が1回目です。輪読って何？という人は(Quiz/4年次) セミナー: 輪読をどうぞ。
基本的には「担当を割り振って、担当者を中心として討論しやすい形で準備してもらう（大抵はプレゼン->Q&A）」というものです。一緒に教科書読もうというのをイメージすると良いか。何気なく読むだけではなくて、気になるところを可能な限り掘り下げていきたい、その掘り下げを通して知見を深めたい。
「個々人で独立してやるだけ」なら一緒に集まってやる必要無くって。例えば授業中にTimelineで「＊＊って何？」とか書く学生はそこそこ多いですが、そういう疑問の種をなるべく共有したい。その一手段として、共同でリアルタイム議事録を書き上げることを、去年からやってみてます。TLで書くぐらいならここに書け、と。TLで書いても良いんですが、hashtag付け忘れたりするぐらいならということでgoogle documentでやってます。Scrapboxも面白そうなんですが、ちょっと試して見た限りではピンときてないのでまだ導入してません。
通常の授業でも、日毎の共同編集できるページ用意して、そこに質問なり書きやすい雰囲気作ると良いのかなぁ。
2017年度の全体ゼミではゼロから作るDeep Learningを中心にやる予定です。
今年度はUdacity: Deep Learningをやってみたんですが、思ってた以上に概要だけで進んでいくところが多くて。抑えているポイントもあるけど、バランス的にそうじゃない（概要だけで飛ばす）部分が多く、結果的にはTensorFlowをツールとして使おうぐらいの勉強会に。これはこれでありなんだけどね。
これだと機械学習なり深層学習なりがどう動いているのかが分かりにくい。それならAndrew Ng先生のMachine Learningかなと考えていたところ、夏頃にゼロから作るDeep Learningが出て「これだな」と。各方面で取り上げられてるだけあってとてもいいです。遠藤先生・山田先生・赤嶺先生からも先生得られました。全員から一度に賛同貰えた本って珍しい。それぐらい良本です。
ということで、ゼロから作りましょう。
4年次メインでやってる沖縄複雑系研究会が終わりました。琉大5研究室（複雑研4研究室＋機械・宮田研）、沖縄高専2研究室の合計7研究室で、発表22件。似たようなテーマ、重複している箇所もちらほらありますが、それ以上にばらつきも多くて楽しいです。下手な学会で発表してくるよりもこっちの方が質疑盛り上がること少なくない（質疑応答時間足りてない）ので、実質的な意味でも良い。他研究室や卒業生も来てました。おぉ。
今回はプログラムが過密だったこともあってセッション中の振り返りは殆どない状況でしたが、その分懇談会になって「さっきの発表だけど」と討論の続きがそこかしこで。教員x学生とか教員x教員だけじゃなく、学生x学生でも同じく。貰った質問・コメントを本番＆卒論に活かそう。
学生の方は、できればこのぐらいの勢いを質疑応答時間中にも出してほしいけど遠慮しちゃうのかしら。質問練習も兼ねてやって欲しいにゃ〜。
複雑研全体ゼミで進めてるDeep LearningのLesson 2が終了しました。
Lesson 1はイントロダクションですが、「機械学習って何？」から始まってロジスティック分類器、softmax、バイナリコーディング(one-hot encoding)、交差エントロピー、入力データの正規化、交差検定、過学習、データサイズ、パラメータチューニング、、、といった幅広い話題というか「データを用意して学習器を使って学習させて評価するところまで」一連で出てくるキーワードを各々数分動画で簡潔に話して進むという、恐ろしいまでのスピード感です。いや、各々の動画でわからない所は個別に学べばいいだけなんですが、そこまでやってない（やれてない）部分も多々あって。ということでゼミで紹介発表聞いては突っ込む日々です。
Lesson 2は深層学習の話に入るっぽいですが、その前段としてのNN話が半分、もう半分は正則化とDropout。メインといってもやっぱり「数分動画*数個」で話が終わるという。ま、そんなものかもしれない。ハイスピードでNNにおける重み、線形モデル、中間層、ReLU、チェインルール、バックプロパゲーションあたりの話がざっくりと終わりました。（ので突っ込みまくるわけですが）
分からないところはUdacity限定せずに勉強して欲しいし、聞いてる方も勉強するつもりで質問して欲しいのだけどなー。
P.S.
そろそろ例題プログラム動かすところもちらほら出てきてるのですが、環境構築で苦戦してるのか、動かないらしい。いや、ただ「動かない」と報告されても情報量ゼロなんですが。報告の体をなしてないぞと突っ込んで、来週もう一度やってもらうことに。頑張れ〜。
UdacityのDeep Learningをやってみようということで、複雑研全体ゼミ2回目が終わりました。
冒頭部分はイントロダクションの章だけあって比較的容易に進んでますが、「重みって何？」「線形結合って？」とかあれこれ突っ込んでみると分かってるような分かってないような。初めてやることなら知らなくて良いんですが、可能な範囲で調べたり、考察してみて欲しいな、とは思います。いや、調べてる学生もいたか。ただ「辞書をひく」ぐらいの調査に留まってて、その解説の上辺をなぞってるぐらい。それでもやってるだけ偉い。1つずつ知識を増やしていこう。調べ方・考え方を学んでいこう。
学生自身からの質問もそこそこあって良かったですが、もうちょっと活発に討論して欲しいかな。私が話してばかりだと片手落ちなので。
毎年複雑研（遠藤研＋山田研＋赤嶺研＋當間研）でやってる全体ゼミは、今年はUdacityのDeep Learningをやってみようということに。それはそれとしてひとまず担当割り当てするぐらいに留め、論文に関する基礎知識2016をベースに論文の探し方・読み方・書き方についてのガイダンスをしてみました。
実際に話するだけ（聞くだけ）だと互いにツマラナイよねということでImageNet Classification with Deep Convolutional Neural Networksを使っての演習付き。イントロダクションの章は5つのパラグラフで構成されてますが「各パラグラフの1文目だけを読んで中身を想像して次に進むことを繰り返し、5パラグラフ使ってどういうストーリーで話をしようとしてるかをイメージする」というもの。なんですが、実際にやらせてみると「綺麗に訳しよう」とする人が多くて。そうじゃないと言ってるのに〜。ま、これも含めて練習か。やっぱりさせてみるのって大事だよね。
本日のお茶菓子！ pic.twitter.com/SyLtRuJJWC
— Naruaki TOMA (@naltoma) April 26, 2016
NAL研ゼミの方はまだまだ就活シーズン真っ只中ということもあって全員は揃わず、ちょっと悲しい。せっかくお茶会で美味しいもの食べれたのに〜。
MOOCsという呼称＆実態が広まり始めたのがウィキペディアによると2008年頃？ その代表格になってる（気がする）UdacityとCoursera。日本も1つ2つ立ち上げてた気がするけど（日本語で立ち上げる意味がよくわからなかったけど）そっちはどんな感じなんだろうか。
個人的には、「3年次の学生実験・データマイニング班」で機械学習ガイダンスするにあたりAndrew Ng先生のMachine Learningを参考にしたりしてます。学生向けに周知したりもしてましたが実際に受講までやってた人がどのぐらいいたかはよく分からず。
という状況に一つの楔を打ち込むという訳でもないですが、遠藤先生提案でUdacityのDeep Learningを希望者募ってやってみようかという話に。今のところ院生1名＋学部生1名いて、既に反応がある状況。実際問題としてどうなるかは別問題ですが、やる気のある学生が出てくれたことはとても喜ばしいです。
P.S.
気がつけば今月も明日で終了。Java Kücheで話す内容決めなきゃ〜。
沖縄複雑系研究会は毎年2回（夏、春）やってるので5年目らしい。今年は夏から機械工学科の宮田先生も合流ということで琉大5研究室に沖縄高専2研究室の合計7研究室での合同という形に。双方の仮配属者もちらほらいて全体としてはかなりの人数に。学生もそうですが、教員もマジ指摘やらアドバイスやらで下手な学会よりもとても有意義な会です。
NAL研からは3名が参加。3名ともギリギリまで切羽詰ってたこともあってあまり発表練習やれてなかったんですが、どうにか真っ当なコメントもらえるぐらいには伝えられてたようです。阿波連さんはここ1週間？ぐらいデータ眺めで混乱気味で、伊藤くんは一度しゃべりだすとやっぱり話しすぎで時間オーバー。その中でよく頑張ったと思います。田口くんはここ数日の根詰めで朝から体調悪くて発表を断念。いいところまでまとまったので可哀想ではあったけど体が一番だしね。また発表の機会はあるということで。
もらえたコメントは今後に活かそう！
今日はあちこちでイベントあって、
Global GameJam 2016（金曜日から始まってて、明日まであるらしい）、
ICAROB 2016、
NBM世代交流まちづくりゆんたく会、
と参加したかったイベントがブッキングしまくり〜。