MLP & Transformer演習用シミュレータ

GW前あたりからNN（MLP）とTransfomrerの中身を追いかけながら理解を深める演習兼シミュレータを作成してました。どちらもブラウザ単体で動作します。

NN Anatomy — ニューラルネットの中身を 1 ノード単位で見る GUI シミュレータ

GitHub (NN Anatomy): [ リポジトリ | Pages ]

forward, backward, updateの一連の流れを追体験できるシミュレータ。ノードやエッジをクリックすると、(1)数式（一般定式化）確認 → (2)指定箇所（ノードorエッジ）における計算式→ (3)実際の数値を用いた演算をそれぞれ確認できます。Lesson1〜8として具体的な演習に解説も加えているつもりですが、これだけで理解するのはまだ難しいかもしれない。それでも、テキストだけとか、1枚のスライド（概念図）だけで理解するよりはしやすいんじゃないかな。

細かい機能としては、エッジ編集したり、N epoch 実行＆追加実行しつつ出力層の変化を確認できるとか、全結合層のみですがニューロン数＆レイヤー数変更できたり、データセットを自前で構築できたりします。

JSON exportとかは演習チェックを想定して組み込んでみたけど、そこまでやる必要なさそうだなとも感じてて中途半端に残ってます。

NN Anatomy — Transformer

GitHub (NN Anatomy — Transformer): [ リポジトリ | Pages ]

NNのbackward, updateを理解した前提で、シンプルな1層Transformerで各ブロックの処理を追いかけつつ「例えばこんな動作が可能になる」ということを眺めていく演習。 多層にすることでより自由度は増すけど今は1層に限定。