LLMを平均的な常識モデルとして使う

2月末〜3月にもやってたけど、隔週プレゼミとしてやってましたが、その間は軽い状況報告＋進め方概説ぐらい。新4年次は就活含めて忙しいし。ということで研究室の週ゼミらしい週ゼミは今週から開始です。未だに名前と顔を一致させきれていないので、ゼミでは久しぶりの対面でもあったので点呼取りから。もともとマスクない状態でも人を識別するのが苦手で、学生の頃には「先生Aと先生Bが並んでると違いがわかるけど別々に会うとどちらか分からない」ということがあったぐらいには苦手なのだよ。。。

新4年次はテーマ決めるための論文・事例調査から。とはいえそれだけ（inputだけ）の状況では深い理解に繋がりにくいこともあるので、深層学習の基礎についてはしっかり学ぶために手を動かす輪読も並行して進めてます。輪読は今回も「ゼロから作るDeep Learning」。Transformerの使い方を主軸においてる教科書（Transformerによる自然言語処理）にすることも考えたのだけど、NN含めた中身の理解という点では前者かなと。

テーマについては「常識」に興味がある人もいたので Towards Digital Nature: Bridging the Gap between Turing Machine Objects and Linguistic Objects in LLMMs for Universal Interaction of Object-Oriented Descriptions の話をしてみたり。常識というよりは抽象化とか認知とかの方が近いかもしれない。LLMの抽象化能力を「実世界におけるヒトの認識と、それを模倣する計算プロセス」をリンクさせるために使ってみたらしい。具体的な例としてルンバと猫のオブジェクトをLLMで設計させてるのだけど、インタラクションを伴う空間内でのインタラクションまでまとめて「良きに計らえ」としてLLMに丸投げ。それで「猫っぽさ」「ルンバっぽさ」に見えなくもないインタラクションが現れたという。

Cat ALO has specific function such as to jump, and to meow, and Roomba ALO was able to move and rotate around its axis. When prompted to interact with each other, Roomba demonstrated capabilities to escape or avoid the cats in the simulated environment.

「は？？？」だよな。