NLP2025, day 2

学会オンライン参加2日目。今日はNLPモデルの評価・安全性・信頼性なセッション（A1, A2）と心理言語学・認知モデリング（B3, B4）、招待講演に参加してきました。以下面白かった発表メモ。

• A1-3: 有害性評価と巻き戻しによる LLM の有害コンテンツ生成回避
  • 有害コンテンツ回避を目的とした事例が増えてきているけども多くは学習コストなり推論コストが高くて辛いよねということから、なるべく「軽量かつ効果的」な方針をとりたいというのが狙い。そこでチェックタイミングを「モデルの息継ぎ（単語出力時の確率が低い状態≒次にどの単語を出力しようか迷っている状態）」を基準としてチェックするようにすることで軽量にしたとのこと。
• A1-6: 手動設計の敵対的プロンプト手法の体系的分類
  • 手動プロンプト体系化されて内の辛い（モデル評価もできないじゃん）ということで取り組んだとのこと。地道だけど大事だよね。
• A2-1: 大規模言語モデルにおける複数の指示追従成功率を個々の指示追従成功率から推定する
  • プロンプトで複数指示列挙した際にどのぐらい指示を踏まえた出力してくれるか、という点に絞って評価できるベンチマーク作って実際に評価してみたという話。
• A2-6: JaSocial：LLM の社会的知能を評価するための日本語敬語使用フレームワーク
  • メール文では送信者と受信者の関係性、伝える内容（機能）、敬語表現によって妥当な表現が変わるけどそれを踏まえた評価ができない！　こういうのを分析するのに「選択体系機能言語学SFL」というフレームワークがあるらしく、それに基づいて評価できるようなベンチマークも作ったという話。
• B3-2: 「心の中の言葉」はどのように予測できるか？ ―複数のモダリティの特徴に基づく脳活動デコーディングプロセスの構築―
  • 音声を聞いて貰った時のfMRIデータからhogehogeする事例は多いけど、画像含むのはまだまだ少ないというところから「画像見て貰って指示したことを脳内で説明して貰う様子をfMRI測定」したらしい。画像 x W = fMRI から W を学習させ、そのWを用いて VLM からテキスト生成するように学習してるっぽい（多分）。
• B3-4: 英文リーダビリティ指標FKGLはほぼ平均文中音節数である
  • 考え方が面白い。FKGLは超古いモデルだけど今も生き残っている。生き残るからには「まだ知らないだけで妥当な認知モデルなりがあるのでは」というところからモデルを表現し直すことで「ある条件下では成立しそう」なモデルを作れたという話。
• B3-5: Shaping Personality of Large Language Models: An Approach Based on Representation Engineering
  • 性格特性をプロンプトで指示することがよくあるけど、それってどれだけ適切に動くか怪しいからちゃんと「制御したい」というのが狙い。性格特性毎に+/-表現を与えた際の中間表現を収集し、それらの差から「コントロール・ベクター」を構築。
• B4-1: アテンションが記憶想起の認知モデルたりうるならば、記憶の表現としては何が妥当か？
  • 記憶の表現単位がトークン単位と統語構造単位とではどちらがよりベターかということについて仮説ベースで検証までしてみた話。どちらが良いという結果ではなくどちらも重要（それぞれ異なる記憶想起に対応する）という結論らしい。
• B4-3: 大規模言語モデルによる失語症の単語産出シミュレーション
  • 今回の結果というより先行研究の「Pruning とパラメータ調整を行った障害モデルを作成したところ、中間層を損傷したモデルに、発話の逸脱や脱線に加えて、失語症特有の錯語が観察された」という部分が気になる（勉強しなきゃ）。
• B4-6: 作業記憶の発達的特性が言語獲得の臨界期を形成する
  • 作業記憶を制限し徐々に広げていくことが、制限していない学習よりも良い評価を得られたという話。データ効率だけでなく言語獲得の理解の点からも面白そう。
• 招待講演: 生成AIを活用した九州・琉球の言語継承支援に資する方言対話システムの開発 ―現状と課題
  • 語彙や例文を入れる×
  • 対訳法×
  • 記述言語学「ボアスの3点セット（辞書、テキスト、記述文法書）」○

現地参加なら「どこか美味しいものでも〜」と探す旅に出るのだけどそれがないのはやっぱりさみしい。