複雑研全体ゼミの輪読3回目が終わりました。今日は4.2節〜5.3節あたりの話。教師データからの誤差に基づいた損失関数と、勾配法による最適化、それを組み合わせる形で微分に基づくNNの重み調整イメージに、連鎖率に基づく逆伝搬という考え方の導入ぐらいまで。教科書にも手計算できるレベルの例題を出してくれてるけど、皆ちゃんとやってるか〜。 P.S. 車やめて徒歩生活＋自炊生活になってから、長期的にはゆっくりと痩せ続けてます。ただし短期的には太ったりしてて、特に2016年はかなりやばくて健康診断で強くダメ出しされたレベル。年明けから自重するようにして5ヶ月目ですが、教員生活してから64kgジャスト、体脂肪率22%弱、体年齢36（実年齢-6）を記 …

続きを読む

複雑研全体ゼミの輪読2回目が終わりました。今日で3章後半から4章の途中までが終わり、階層型NNのモデル化・実装と損失関数の導入まで進みました。実際に細かく動かしながら進むので、ブラックボックスな部分は「ほぼ」無い状態。実際には「何故そういう設定になっているのか」が不明なまま進んでいる箇所もあるんですが、全てを解説し尽くすのも無理だし仕方ない。多少は討論で補いつつ、それ以外については「後で出てくるはず」ということにして先に進むことに。 P.S. 肩甲骨はがしなるストレッチがあることを教えてもらい、早速やってみてます。動かすだけでも効果あるだろうし。

続きを読む

複雑研全体ゼミでゼロから作るDeep Learningの輪読をやっています。1回目は私が学生実験の都合でキャンセル。2回目はガイダンス（論文の読み方とか）に利用。3回目は関連イベント参加に代替。4回目はGWということで、実質的な輪読は今日が1回目です。輪読って何？という人は(Quiz/4年次) セミナー: 輪読をどうぞ。 基本的には「担当を割り振って、担当者を中心として討論しやすい形で準備してもらう（大抵はプレゼン->Q&A）」というものです。一緒に教科書読もうというのをイメージすると良いか。何気なく読むだけではなくて、気になるところを可能な限り掘り下げていきたい、その掘り下げを通して知見を深めたい。 「個々人で独立し …

続きを読む

2017年度の全体ゼミではゼロから作るDeep Learningを中心にやる予定です。 今年度はUdacity: Deep Learningをやってみたんですが、思ってた以上に概要だけで進んでいくところが多くて。抑えているポイントもあるけど、バランス的にそうじゃない（概要だけで飛ばす）部分が多く、結果的にはTensorFlowをツールとして使おうぐらいの勉強会に。これはこれでありなんだけどね。 これだと機械学習なり深層学習なりがどう動いているのかが分かりにくい。それならAndrew Ng先生のMachine Learningかなと考えていたところ、夏頃にゼロから作るDeep Learningが出て「これだな」と。各方面で取り上げられ …

続きを読む

4年次メインでやってる沖縄複雑系研究会が終わりました。琉大5研究室（複雑研4研究室＋機械・宮田研）、沖縄高専2研究室の合計7研究室で、発表22件。似たようなテーマ、重複している箇所もちらほらありますが、それ以上にばらつきも多くて楽しいです。下手な学会で発表してくるよりもこっちの方が質疑盛り上がること少なくない（質疑応答時間足りてない）ので、実質的な意味でも良い。他研究室や卒業生も来てました。おぉ。 今回はプログラムが過密だったこともあってセッション中の振り返りは殆どない状況でしたが、その分懇談会になって「さっきの発表だけど」と討論の続きがそこかしこで。教員x学生とか教員x教員だけじゃなく、学生x学生でも同じく。貰った質問・コメントを …

続きを読む

複雑研全体ゼミで進めてるDeep LearningのLesson 2が終了しました。 Lesson 1はイントロダクションですが、「機械学習って何？」から始まってロジスティック分類器、softmax、バイナリコーディング(one-hot encoding)、交差エントロピー、入力データの正規化、交差検定、過学習、データサイズ、パラメータチューニング、、、といった幅広い話題というか「データを用意して学習器を使って学習させて評価するところまで」一連で出てくるキーワードを各々数分動画で簡潔に話して進むという、恐ろしいまでのスピード感です。いや、各々の動画でわからない所は個別に学べばいいだけなんですが、そこまでやってない（やれてない）部分も …

続きを読む

UdacityのDeep Learningをやってみようということで、複雑研全体ゼミ2回目が終わりました。 冒頭部分はイントロダクションの章だけあって比較的容易に進んでますが、「重みって何？」「線形結合って？」とかあれこれ突っ込んでみると分かってるような分かってないような。初めてやることなら知らなくて良いんですが、可能な範囲で調べたり、考察してみて欲しいな、とは思います。いや、調べてる学生もいたか。ただ「辞書をひく」ぐらいの調査に留まってて、その解説の上辺をなぞってるぐらい。それでもやってるだけ偉い。1つずつ知識を増やしていこう。調べ方・考え方を学んでいこう。 学生自身からの質問もそこそこあって良かったですが、もうちょっと活発に討論 …

続きを読む

毎年複雑研（遠藤研＋山田研＋赤嶺研＋當間研）でやってる全体ゼミは、今年はUdacityのDeep Learningをやってみようということに。それはそれとしてひとまず担当割り当てするぐらいに留め、論文に関する基礎知識2016をベースに論文の探し方・読み方・書き方についてのガイダンスをしてみました。 実際に話するだけ（聞くだけ）だと互いにツマラナイよねということでImageNet Classification with Deep Convolutional Neural Networksを使っての演習付き。イントロダクションの章は5つのパラグラフで構成されてますが「各パラグラフの1文目だけを読んで中身を想像して次に進むことを繰り返 …

続きを読む

MOOCsという呼称＆実態が広まり始めたのがウィキペディアによると2008年頃？　その代表格になってる（気がする）UdacityとCoursera。日本も1つ2つ立ち上げてた気がするけど（日本語で立ち上げる意味がよくわからなかったけど）そっちはどんな感じなんだろうか。 個人的には、「3年次の学生実験・データマイニング班」で機械学習ガイダンスするにあたりAndrew Ng先生のMachine Learningを参考にしたりしてます。学生向けに周知したりもしてましたが実際に受講までやってた人がどのぐらいいたかはよく分からず。 という状況に一つの楔を打ち込むという訳でもないですが、遠藤先生提案でUdacityのDeep Learningを …

続きを読む

沖縄複雑系研究会は毎年2回（夏、春）やってるので5年目らしい。今年は夏から機械工学科の宮田先生も合流ということで琉大5研究室に沖縄高専2研究室の合計7研究室での合同という形に。双方の仮配属者もちらほらいて全体としてはかなりの人数に。学生もそうですが、教員もマジ指摘やらアドバイスやらで下手な学会よりもとても有意義な会です。 NAL研からは3名が参加。3名ともギリギリまで切羽詰ってたこともあってあまり発表練習やれてなかったんですが、どうにか真っ当なコメントもらえるぐらいには伝えられてたようです。阿波連さんはここ1週間？ぐらいデータ眺めで混乱気味で、伊藤くんは一度しゃべりだすとやっぱり話しすぎで時間オーバー。その中でよく頑張ったと思いま …

続きを読む