ヒトはそもそもどう理解してどう行動しているのか

ChatGPTに代表されるLLMな話。

個人的には Transformer ベースのモデルが出始めた後（e.g., A Survey of Large Language Models）からLLM 戦国時代。GPT-3.5ベースと言われるChatGPTですらとてつもなく流暢に文章生成できるようになったのは良いとして、何故ここまで色んな応答を自然にこなせるようになったのかは良く分からず。

ここまで大規模になるとモデルの動作を観察すること自体難しいので、fMRIのように特定タスクに反応するエリアを特定するみたいなレベルからやらざるを得ないのでしょうね。ということでGWあたりに少しやってみよう〜とか思ってたのですが、既にやり始めてる人はいるらしくて。あらま。

• Atlas: Generated Data Prompt
• 大規模言語モデルの「脳波」をとって言葉を生成しているときにどこが活動しているのか見てみる

個人的に気なってる部分は、LLMでは物理層に相当するような制約がトークナイザにもあるところ。ヒトでも認知部分の差は大きいけど、同一モデル＋同一データでトークナイザだけを変えた場合、というのはヒトでいうところの何に相当するんだろう？　ヒトなら入力部分は固定されないのだけども、そういう部分もトークナイザの後でうまいこと吸収してるようにみえるんだよな。色々謎だ。