台風24号さんもお疲れ様でした！（沖縄周回中に消えそう） 自然言語処理(LLM) E-046 日本語キャッチコピー評価のための LLM as a Judge の検証 キャッチコピーは何を伝えるか、どう伝えるかに分けられる。質の高い「どう伝えるか」は難しい。 問い：プロの評価基準を言語化すれば、LLMは人間の判断を再現できるか？ プロのコピーライター5名への調査に基づくJudge評価基準構築。汎化限界とモデル選択関する知見を得た。過去の作品に対して評価し、理由を述べて貰う形のインタビュー。3名の完全一致は僅か28%。正解ラベルの統一は困難。今回は一致度の高い正解ラベルを優先抽出してGold Standard Datasetとし …

続きを読む

台風24号さんがおかしなことになってる2日目。今日は教育応用系のセッションに入り浸り。 9月3日（木） 4q会場, 教育AI・プログラミング・分析 K-008: VRゲームからプログラミング未経験者の計算論的思考能力の推定 計算論的思考能力(CT)を最終アウトプットから測るのではなく、VRログからどの瞬間にCT発揮したかを抽出したいという話。VRログにしてるのはプログラミング能力と独立した形でCTを評価したいから。HMMで時系列行動ログから潜在的な行動状態を推定。特徴量を解釈し、状態遷移系列と課題進捗の関係を分析。 感想: CT発揮と言えるかは「？」。生理指標含めた複合評価が必要そう。分析アプローチとしては面白い。 K-009: 実 …

続きを読む

情報科学技術フォーラム（通称FIT）が始まりました。オンライン参加で気になった発表をこんな感じで残すようにしてるんですが、大きなイベントになるほど並列度が凄いことになってるので実際に目にしているごく僅かなんだよな。ま、原稿集も後で見よう。 RAG関係 CF-002: 思考分解型AIマルチエージェントによる技術継承プラットフォーム構築手法 ― 判断工程分解に基づく階層型エージェント協調方式 ― 人の思考過程を細分化（著者自身の思考過程をトレースして整理）し、3階層エージェントとして設計。各種資料をHBAE方式（？）でデータベース化。HBAE方式は「HBAE（Hybrid Bifurcation／Adiabatic／Ergodic：分 …

続きを読む

言語処理学会最終日はワークショップ1: LLM時代のことばの評価の現在と未来に参加してきました。 大規模言語モデル（LLM）はことばの生成と評価の両面で活用が広がり，人間のことばの運用に大きく影響を与えることは間違いない． LLM as a judge と呼ばれる評価への利用はことばの評価を目的に則して柔軟に行うための非常に有望なアプローチとして期待される一方で，LLMが苦手なことは正確な評価が難しいという問題もある． LLMそのものを評価に使うのも良いけど特性把握しとかないと危険だよねとか、既存の評価指標だけでも測れていない側面あるよねというような視点で Shared task を設定し、皆で取り組んで知見共有しようというワークシ …

続きを読む

言語処理学会年次大会4日目。まだ明日もあるけどそろそろお疲れモード。オンライン参加なので籠もっている＆ご飯普通に食べておやつも食べてるのだけど体重と体脂肪率は下降傾向に。これはあれですね、やつれてる。 今日は対話、LLM構築、招待講演に参加。うちの学生（船迫さん）も質問コメントどしどし貰えてて良かった！ D8: 対話(1) D9: 対話(2) C10: LLM構築 D8-1: 話者特性に基づくターンテイキング速度の分析 話者間の役割/関係性/個人特性の違いが、ターンが取られるタイミング（というより速度か）に影響しているのではという検証結果。因果関係は不明だけど、そういう風に認知されやすいというのはあるのかな。 D8-2: 性格特性に …

続きを読む

学会3日目はずっとAセッション（A5〜A7, NLPモデルの解釈可能性・分析）に参加してました。 A5 A6 A7 A5-1: 層の冗長性と層同士の独立性に基づく言語モデルの層交換の成否の特徴づけ モデルマージしやすい条件を明確にしたい。層を線形変換で近似することで冗長性と独立性を計測して検証したという話。 A5-2: 束縛変項照応を用いた大規模言語モデルのプロービング 複数要因が絡む状況下でそれを判別する質問項目追加することで被験者をカテゴライズするという考え方自体はあちこちで役立ちそう。 A5-3: Tracing the Roots of Facts in Multilingual Language Models: …

続きを読む

学会オンライン参加2日目。今日はNLPモデルの評価・安全性・信頼性なセッション（A1, A2）と心理言語学・認知モデリング（B3, B4）、招待講演に参加してきました。以下面白かった発表メモ。 A1-3: 有害性評価と巻き戻しによる LLM の有害コンテンツ生成回避 有害コンテンツ回避を目的とした事例が増えてきているけども多くは学習コストなり推論コストが高くて辛いよねということから、なるべく「軽量かつ効果的」な方針をとりたいというのが狙い。そこでチェックタイミングを「モデルの息継ぎ（単語出力時の確率が低い状態≒次にどの単語を出力しようか迷っている状態）」を基準としてチェックするようにすることで軽量にしたとのこと。 A1-6: 手動設 …

続きを読む

NLP2025が始まりました。今回は自腹なので旅費ケチるためと、会場参加それなりに大変(*1)だということを去年思い知ったので、今年はオンライン参加することに。 (*1) ほぼ会場は椅子だけ。ノートPCを膝上で開きつつ Slack やらあれこれする。その割に充電コーナーはかなり少ない。 初日はチュートリアルのみです。 T1: 言語モデルの内部機序：解析と解釈 スライド 関連事例紹介ベースに掘り下げつつ体系化した紹介がメインではあったけども、「面白いよね」で終わらず、このアプローチ自体への疑義も示してくれてました。例えば、、 そもそも概念や機能がモデル内部のどこか（内部表現や計算機構）に局所的に埋め込まれているという前提は妥当なのか？ …

続きを読む

気になってたお店にギリギリ間に合った pic.twitter.com/riLTVHXtjA — Naruaki TOMA 温泉旅行... (@naltoma) March 15, 2024 お疲れモードなので今日はホテルからオンライン参加することに。机があるって素晴らしい。（会場はほとんど椅子のみ） NLP最終日はワークショップ: 生成AI時代の自然言語処理における産学官の役割と課題に参加してました。セッションの中身としては「それぞれ尖った部分で活躍してる人の活動紹介や問題共有」という感じで、普段聞いたことない内容が多かったという点で面白かった。 全日程を通して心に残ったことは、、 (1) 認知科学ドメインとの連携楽しそ …

続きを読む

SABAR pic.twitter.com/K1yL5kBslX — Naruaki TOMA 温泉旅行... (@naltoma) March 14, 2024 NLP2024の主プログラム（一般発表がある日）としては今日が最終日という位置づけらしく、クロージングも有りました。すっぽかしたけど、Slack眺める限りでは優秀賞やら次年度開催予定地で盛り上がってたようです。 今日も面白い発表あったのだけど、それ以上に昨日の認知モデリングな話がこびり付いたままだとか、単に疲れだとかであまり集中できず。実際に心に残るぐらい聞けたのは最初のセッションぐらいだな、、。 BabyBERTaなるモデルがあるらしい。人間の6歳児までの間 …

続きを読む