NAL’s blog @ 琉球大学情報工学科

複雑研全体ゼミは深層学習の5章「自己符号化」なお話。担当範囲を1週で終えられないなら複数週に跨がって良いし、単体で分かり難いなら適宜他の文献も参考にして良いよ（ピックアップ分もある）とか伝えてはあるんですが、どうにもその週を過ぎれば良しと考えてる節も少し。質疑では割と自分なりの解釈を丁寧に話してくれるので、完全ではなくてもそれなりに理解しようと頑張ったのは分かるのだけど、それを発表を通して伝える技術が足りてないという側面もあるか。ということで「次回はもっと相手に伝えるような努力が見れる発表を〜」と伝えるぐらいに。一つずつ丁寧に読んでいって欲しいとも思うのだけど。

自己符号化の章構成は次の通り。

5 自己符号化
5.1 概要
5.2 ネットワークの設計
5.2.1 出力層の活性化関数と誤差関数
5.2.2 重みの共有
5.3 自己符号化器の動き
5.3.1 データを表す特徴の学習
5.3.2 主成分分析との関係
5.4 スパース正則化
5.4.1 データの過完備な表現
5.4.2 最適化
5.4.3 スパース正則化の効果
5.5 データの白色化
5.6 ディープネットの事前学習
5.7 その他の自己符号化器
5.7.1 多層自己符号化器
5.7.2 デノイジング自己符号化器

ここでスパース正則化と白色化の話も出てくるのね。データ工学寄りの話を盛り込んだ章といったところかしら。

P.S.

昨日の土砂降りで貯水率が結構な改善を。一度にまとまりすぎるとデメリットも強いのでもう少しなんとかなって欲しいものだが、自然のことだしなー。

列挙してたやっておきたいタスクも粗方終わりつつ（意訳：まだ余裕があるのは後回しにしつつ）。そろそろ動かないとなというデザインスクールの叩き台を一昨日に済ませ、今日は開学記念日で講義が無いということもあって琉大チームでのデザインスクール打ち合わせ始めをしました。やっとこさ走り出したか。いや、私に言ってるんですが。

本当の出だしはほぼ1ヶ月前（4/12）で、その時に大きな問題の洗い出しは済ませてました。今回の目標をどう設定するかについて問題提起してみたのだけど、特に変わった回答は無かった（前回のを深掘りなり何らかの形で前進させたいとかって話ぐらいだった）ので、そこからは外れないように叩き台作って1回目の擦り合わせに望んだのですが、その日になって大きく舵取り直しが。うーにゅ、それならそれと打ち合わせ前に話を出してくれれば〜。とかなんとか。

個人的には、「会議とかで何かしら議論して答えを出す」という場合、事前に何について話合うかの問題提起や関連情報は既に出し終えて、Face to Face な場ではそれについて評価したりしながら駄目だし／改善／方向性変更して進めていくのが良いかなと考えてるんですが、いまいちその方向でうまくいったことがないな。個人的にそうしたいと思ってるだけでそれを伝えた事はないのだけど。皆でゼロから話合うのはやってもよいけど、時間の無駄が大きすぎると思うのだけどなぁ。実際、例として「事前に何かしらやらせてデザインスクールではそれを活用する場として利用する」とかってアイデアも出してくれてるので、この考え方自体は同じ認識なんだろうと思ってるのだけど、「会議」となるとうまく回らないのは何故なんだぜ〜。

とかいいつ、抽象的ではあるけど大きな方向性について目処が立ったので、ちゃんと前進はしてます。アイデア出し＆提案ありがたや〜。これをベースに京大との擦り合わせをする準備をしなくては。

梅雨入り宣言したその日の朝に傘が盗まれた。強すぎる沖縄の日差しをせめてもの直射日光からは身を守るべく購入した雨傘にも使える完全遮光の傘が盗まれた。naltomaには盗人心がわからぬ。せんせー怒るから盗んだやつは手を上げなさい。。。こんちくしょい。ということで1年ちょいでなくなってしまった日傘をまた注文しましたよ。毎月1千円を傘代にあててることになるとかどこの住人なんだろう。前にあちこち店舗回っても良さげなもの無かったので迷わずに注文。こんちくしょい。こんちくしょい。

デザインスクールは今年もやりますよということで、そろそろ企画開始。昨年通りでいいなら単純に行動スケジュール考えるだけで良いんだけど、手を加えたいのでまた擦り合わせからです。4月中に叩き台ぐらい終えて今時点では琉大チームでの擦り合わせまで終わってる予定だったんですが、なんだかんだで具体的な〆切がないので後回しになってました。流石にこれ以上延ばし続けると具体的な告知をする次期が後ろにずれる（去年よりも募集期間が短くなる）よねということで、取りあえずのものをアウトプット。見える形で出さないと検討もできないしね。今週末（5/22）は開学記念日で休講なので、この日にでも擦り合わせできると良いな。

P.S.
季節の変わり目だからかここ数日の急な蒸し暑さだからかで今年初の風邪は鼻から。といっても毎回お世話になってる風邪薬はパブロンSゴールド錠（総合風邪薬）なんですが。

複雑研ゼミは深層学習 (機械学習プロフェッショナルシリーズ)の輪読に突入して2回目。今日は「第3章 確率的勾配降下法」と「第4章 誤差逆伝播法」。いくつか飛ばしちゃってる所があるのが勿体無いのだけど、場所によっては「個別に勉強してね」というやり方もありっちゃありなんだよな。そもそも論としては「シンプルな誤差逆伝播法そのものを手計算してみたら」と思うのだけど、やってる人はいなさげ。それも含めて「全体ゼミで何を学ぶか」ではあるのだけど、深層学習やるというのならこの辺りは実体験した方が良いんじゃないかなぁと思いつつ、後で突っつくぐらいにしとこう。

以下は発表聞きながらメモした疑問点。ページ番号は本じゃなくてスライドなのでここでは無意味だな。

Q: 勾配降下法とは？
　p.4, 具体的に勾配はどう計算する？
　問題の規模が大きいとニュートン法が使えなくなるのは何故？
C: p.5, 数式はちゃんと書こう。（少なくとも独自記法はやめる）
　p.5, どのあたりが確率的？
　p.6, 「訓練データの収集と最適化の計算を同時進行で行うことができる」とは？
　p.7, 「各クラスの出現頻度が等しい場合は、同サイズのミニバッチを作るのが良い」そうじゃない場合は？
　p.8, テスト誤差はどう実施したら良い？
C: 図を書く時は軸の説明を
p.11, 正則化に「重み二乗和」以外にどんなものがある？
　重み減衰？
p.13, 具体的な「正規化」の例？
p.15, どう「複数のNNを組み合わせる」？（合議？）
p.16, 学習定数の決め方
　AdaGrad はどんな手法？
　1. 学習係数を大きい->小さい（アニーニング：焼き鈍し）
　2. 層毎に学習幅を調整
p.19, 重み初期化活性化関数(省略)

C: 分からない所は省略しない方が

＞4章
p.30, n_k？
p.36, 具体的な計算例？
p.38, 計算機毎の定数ε？

ゼミ中のツッコミとしてはこれまでに出てきた概念との結びつけた質問したり、現時点ではまだ深掘りされてない（そもそもこの本で書かれてるか分からない）側面について質問したりする形で考えさせたり、討論させたりする形でイメージを形作らせてみています。教科書への脚注を追加してるというのが近いのかも。

GW前に結構な痛みが出て、仲村整骨院に集中的に通って痛み自体は3日ぐらいで無くなってたのですが5/8頃までは謎の違和感が残ってました。それがここ数日になって違和感も無く、今朝の通院でも初めて前後バランスの悪さについては指摘されなくなりました。嬉しい。

要因としては座り過ぎ／普段の姿勢／運動不足／食生活とか考えてた（指摘されてた）んですが、今まで試してた修正（食生活＞運動不足＞普段の姿勢＞座り過ぎ）では特に改善が見られず。先週になって「ベッドの中央がくぼみ過ぎてる気がする（そこ付近で腰に負荷が集中してる？）」ということが気になってしまい、モノは試しということでここ1週間はそこに入らないようにして端で寝てたのですが、これが割と快適で。定期的に通院してたのが積み重なって改善してる可能性が高そうではあるんですが、ベッドの問題だとしたらちょっと笑えるというか悲しいな。

とりあえずもう暫くベッドの端で寝ることにしよう。といいつつ今日は実家に帰ってるのでまた違うベッドな訳だが。これで改善傾向になるならベッド辞めてオフトゥンにするのが良いのかなぁ。

プログラミング1とソフトウェア演習1のお話。

GWや月曜日振替えが入って木曜日の授業が2週間ぶりな日だったわけですが、面白いぐらいにあれもこれも覚えてない学生がいるかと思えば、逆にハッカー精神溢れる学生もいていとをかし。

私「大丈夫？」
学生1「なんとかやれそうです」
私「今やってる例題動かしてみて」
学生1「…」

私「大丈夫？」
学生2「何やって良いか分かりません」
私「よし、まずは例題を動かしてみよう。エディタ開いて例題を手打ちかコピペして保存して。」
学生2「エディタってなんですか？」

学生3「毎回 alias するのって面倒なんですが、どうにかなりませんか？」
私「シェル設定を記入するファイルというのがあってだな」

学生4「（もくもくと emacs 3画面分割してシェル実行用・ソース編集用・その他（？）用行き来しながら作業）」

学生5「（もくもくと vim で作業）」
私「（敵だ…）」

あるある。分からないことは何の問題も無いです。問題があるのは自習してなさそうにみえるところ。いや、やっててこの状態なら「自習」の仕方に問題があるかなと。

入学式でも授業中にも話してますが、大学の単位ってのは法律で定められてます。

我が国の大学教育は単位制度を基本としており、1単位あたり45時間の学修を必要とする内容をもって構成することが標準とされています。ここでいう１単位あたりの学修時間は、授業時間内の学修時間だけではなく、その授業の事前の準備学修・事後の準備復習を合わせたものとなっています。

（文科省サイトより引用）

プログラミング1の2単位で考えると「2単位*45時間/15週間=毎週6時間」が必要。このうち授業が1.5時間で、2時間カウントしても残り4時間は自習しなくちゃいけない。そのぐらいの自習して初めて達成できる目標をクリアしないと2単位認めないよ、と決められてるのが大学の単位。逆に、それだけ学ぶだけの何かしらを用意してない講義があるなら、それは訴えてみるも良いかな（興味あるなら授業とは別に話するというケースの方が一般的だとは思うが）。

理解度が低いことの要因の一つとして「web上にテキスト関連を用意するようになってる（とどこに何があるか逆に探し難くて自習し難い）から？」というのを想像してた時期があるんですが、そうじゃないんだよな。理解度が低い学生って教科書があっても自分で読まないか、読んで学ぼうとする力に欠けてることが多い。教授されないとできないし、教授されたものはその瞬間だけしかできなくてすぐ忘れるというか。物事を結びつけて学べてないのだよな。

入学して1ヶ月で既に2極化が始まってるとも言えるけど、いつでも「自分でやる」方に移れます。勉強じゃなくても良いのだけど、折角高い授業料払ってるのだから大学でしかやれないことを頑張ろう。プログラミングが特殊とかいう話ではなくて、何でも新しいことを身につけるには計画的継続的に学ぶ必要があります。移るタイミングが遅くなればなるほど差が大きくなるのは仕方ないよね。

来週には募集要項が正式に告知されるのだったかな？　例年だと前期が終わって、夏休みの間に実施しているはずの大学院入試が、今年度は7月実施とのこと。理由は「企業が前倒しに内々定出す傾向が増えてきてるから、その分進学も前倒しに」と主張しているように聞こえるのだけど、それって本質的な解決策じゃないよなぁ。ま、私の解釈が間違ってる可能性もあるし、そうじゃないにしても今年度のものをこれからどうこうするなんてことはタイミング的にも無理なので「はぁ」で進めるしかないのですが。

別委員会では「手を上げたら当ったから皆仕事お願いね」的な話も。「はぁ」。ま、自分にとって有意義になるようにやりましょうか。中長期的な目標といいつつ場当たり的なアクションにしかなってないような気がするのはこっちの責任じゃないし。

とまぁ愚痴っぽく書いてる気もするけど、ようはやらなきゃいけない仕事が積まれたら「自分なりにやる」ということで。無理なことは無理だと断ることもあるし、目的／手段に何かしら疑問感じたら手を上げて少しずつ変わるのを期待するぐらいが関の山かなぁ。それが蓄積されて本質的な改善に繋がるとは思えないのだけど、せめて自分の周囲のことぐらいは真っ当にやりたい。（のだけどなー）

あ、オープンキャンパスは、今年も若干修正されるらしいです。（伝聞）

・ツアーに関する問題
　椅子／参加人数多いことへのスムーズな対応／食堂混雑／他学部も見たい。
　（午後）面白かったけど長時間辛い。

あたりにテコ入れが入るっぽい。

これは蓄積して改善の方向に進んでる例だな。歩みが遅くても前進することに意味はあるのでしょう、ということで。

前に書いた地図を作ろうをもう少し真面目（？）に書き直してみました。

振り返りサマリ（地図）製作のススメからダウンロードできます。やけに脚注が充実しているように見えるのは気のせいです。研究活動をターゲットにしていますが、比喩的に書いてる内容が多いので「新しいことを学ぶ」人なら誰にでも該当するんじゃないかと。これ自体が分かり難い地図だとか、ツッコミは随時お待ちしていますｗ

がっつり休んでたらがっつりやってるはずですが、実質的に休んだのは後半2日間だけなGW。とはいえ、やりたかったタスクも最低限やりたかった2番目までは終えたので、2日間は何も考えずに休めました。明日〜週末ぐらいで3,4番あたりをやろう〜。

複雑研全体ゼミ2回目はデータサイエンス講義の2章最後までを終了。イントロダクションのつもりで2章までやる予定だったのでこれで一区切りついたのですが、やや消化不要な気も。用意されてる演習をやっても良いけど中途半端な内容に感じるんだよな。

P.S.
「人は一ヶ月でエンジニアになれるのか – 詳細解説」という、プログラミングの講義とOJTとでやれること、やれないことみたいな一例が。あれこれうまく組み合わせて重複しないように補わせるとか、だらだらしないようなシステムというか「勉強(読書)」するなら「まとめさせてpublishさせる」とか。現場ならではの視点はこちらにはなかったのだけど、研究室を現場と見立ててやれると面白そうではある。