NLP2025, day 1
NLP2025が始まりました。今回は自腹なので旅費ケチるためと、会場参加それなりに大変(*1)だということを去年思い知ったので、今年はオンライン参加することに。
(*1) ほぼ会場は椅子だけ。ノートPCを膝上で開きつつ Slack やらあれこれする。その割に充電コーナーはかなり少ない。
初日はチュートリアルのみです。
T1: 言語モデルの内部機序：解析と解釈
関連事例紹介ベースに掘り下げつつ体系化した紹介がメインではあったけども、「面白いよね」で終わらず、このアプローチ自体への疑義も示してくれてました。例えば、、
- そもそも概念や機能がモデル内部のどこか（内部表現や計算機構）に局所的に埋め込まれているという前提は妥当なのか？ 次元の呪い（あまりにも高次元過ぎて見たいものが見えているだけ）の可能性はないか？
- あるパラメータを変更することで出力テキストが変わることを持って「そのパラメータがそのテキストの指す概念を意味していた」と解釈することは適切なのか？ 同じ概念が複数箇所に偏在していたり、他の影響を受けたりしないか？
みたいな反論が、反証付きで論文でもいろいろ示している人たちがいるらしい。
T4: 人工知能の哲学入門
古典的AI時代においての哲学、例えばフレーム問題は正しい指摘ではあるが「なぜ人間は同様の問題に直面しないのか？ 人間はどう解決しているのか？」という解は与えていないという点で不十分というところから始まりました。この指摘自体は確かにそうだなと思いつつ、中盤〜終盤に至るまでその問いに対する直接的な解を示すと言うよりは「認知科学、哲学、言語学、計算機科学、、、様々な分野で異なることを同じ用語で述べていることが多々あり、そもそも交通整理が不十分のため議論が深まらない。だから解が出ないのだ」というスタンスでの発表になっていました。うん、それは理解できる。けども消化不良でもある。面白いし要点毎に文献参照してくれてもいるので「今どこまで進んでいるのか」を辿りやすい形になってるのはありがたい。