言語処理学会最終日はワークショップ1: LLM時代のことばの評価の現在と未来に参加してきました。 大規模言語モデル（LLM）はことばの生成と評価の両面で活用が広がり，人間のことばの運用に大きく影響を与えることは間違いない． LLM as a judge と呼ばれる評価への利用はことばの評価を目的に則して柔軟に行うための非常に有望なアプローチとして期待される一方で，LLMが苦手なことは正確な評価が難しいという問題もある． LLMそのものを評価に使うのも良いけど特性把握しとかないと危険だよねとか、既存の評価指標だけでも測れていない側面あるよねというような視点で Shared task を設定し、皆で取り組んで知見共有しようというワークシ …

続きを読む

言語処理学会年次大会4日目。まだ明日もあるけどそろそろお疲れモード。オンライン参加なので籠もっている＆ご飯普通に食べておやつも食べてるのだけど体重と体脂肪率は下降傾向に。これはあれですね、やつれてる。 今日は対話、LLM構築、招待講演に参加。うちの学生（船迫さん）も質問コメントどしどし貰えてて良かった！ D8: 対話(1) D9: 対話(2) C10: LLM構築 D8-1: 話者特性に基づくターンテイキング速度の分析 話者間の役割/関係性/個人特性の違いが、ターンが取られるタイミング（というより速度か）に影響しているのではという検証結果。因果関係は不明だけど、そういう風に認知されやすいというのはあるのかな。 D8-2: 性格特性に …

続きを読む

学会3日目はずっとAセッション（A5〜A7, NLPモデルの解釈可能性・分析）に参加してました。 A5 A6 A7 A5-1: 層の冗長性と層同士の独立性に基づく言語モデルの層交換の成否の特徴づけ モデルマージしやすい条件を明確にしたい。層を線形変換で近似することで冗長性と独立性を計測して検証したという話。 A5-2: 束縛変項照応を用いた大規模言語モデルのプロービング 複数要因が絡む状況下でそれを判別する質問項目追加することで被験者をカテゴライズするという考え方自体はあちこちで役立ちそう。 A5-3: Tracing the Roots of Facts in Multilingual Language Models: …

続きを読む

学会オンライン参加2日目。今日はNLPモデルの評価・安全性・信頼性なセッション（A1, A2）と心理言語学・認知モデリング（B3, B4）、招待講演に参加してきました。以下面白かった発表メモ。 A1-3: 有害性評価と巻き戻しによる LLM の有害コンテンツ生成回避 有害コンテンツ回避を目的とした事例が増えてきているけども多くは学習コストなり推論コストが高くて辛いよねということから、なるべく「軽量かつ効果的」な方針をとりたいというのが狙い。そこでチェックタイミングを「モデルの息継ぎ（単語出力時の確率が低い状態≒次にどの単語を出力しようか迷っている状態）」を基準としてチェックするようにすることで軽量にしたとのこと。 A1-6: 手動設 …

続きを読む

NLP2025が始まりました。今回は自腹なので旅費ケチるためと、会場参加それなりに大変(*1)だということを去年思い知ったので、今年はオンライン参加することに。 (*1) ほぼ会場は椅子だけ。ノートPCを膝上で開きつつ Slack やらあれこれする。その割に充電コーナーはかなり少ない。 初日はチュートリアルのみです。 T1: 言語モデルの内部機序：解析と解釈 スライド 関連事例紹介ベースに掘り下げつつ体系化した紹介がメインではあったけども、「面白いよね」で終わらず、このアプローチ自体への疑義も示してくれてました。例えば、、 そもそも概念や機能がモデル内部のどこか（内部表現や計算機構）に局所的に埋め込まれているという前提は妥当なのか？ …

続きを読む

気になってたお店にギリギリ間に合った pic.twitter.com/riLTVHXtjA — Naruaki TOMA 温泉旅行... (@naltoma) March 15, 2024 お疲れモードなので今日はホテルからオンライン参加することに。机があるって素晴らしい。（会場はほとんど椅子のみ） NLP最終日はワークショップ: 生成AI時代の自然言語処理における産学官の役割と課題に参加してました。セッションの中身としては「それぞれ尖った部分で活躍してる人の活動紹介や問題共有」という感じで、普段聞いたことない内容が多かったという点で面白かった。 全日程を通して心に残ったことは、、 (1) 認知科学ドメインとの連携楽しそ …

続きを読む

SABAR pic.twitter.com/K1yL5kBslX — Naruaki TOMA 温泉旅行... (@naltoma) March 14, 2024 NLP2024の主プログラム（一般発表がある日）としては今日が最終日という位置づけらしく、クロージングも有りました。すっぽかしたけど、Slack眺める限りでは優秀賞やら次年度開催予定地で盛り上がってたようです。 今日も面白い発表あったのだけど、それ以上に昨日の認知モデリングな話がこびり付いたままだとか、単に疲れだとかであまり集中できず。実際に心に残るぐらい聞けたのは最初のセッションぐらいだな、、。 BabyBERTaなるモデルがあるらしい。人間の6歳児までの間 …

続きを読む

Swallow関連発表の「A6:LLMデータ構築」、認知モデリング関連の「D7:心理言語学・認知モデリング」を中心に参加。 コーパス構築はやっぱり大変だなぁ。ichikara-instructionは「LLMのための日本語インストラクションデータ」を人力作成したという話で現時点で約1万件。論文時点ではその半分まで準備できていて、件数変えてどういう寄与が見込めるかを下流タスクとしてRakudaで検証してみてるらしい。 継続事前学習は（コーパスに依存すると思うけど）、一旦性能低下した後で徐々にかいく付していく傾向がある模様。ヒトが新しい分野について学ぶような状況の学習曲線みたいなものに似てたりするのかな。別発表でもファインチューニングで …

続きを読む

2日目、一般セッションは今日から開始。お昼はキッチンカーが複数来てくれててお手軽。 屋比久さん（C1-5）と當間（B1-3）が同じ時間帯での発表になるため、双方独立発表することに。こんなこともあるよね。自分発表無いならセッション途中で抜けることもあるけど、今回は「がんばれ！」と応援するだけに留めました。 私は狩俣先生等との共同研究（日琉翻訳モデル構築）開始に向けた事前準備的な発表をしてきました。前後の発表で用いているコーパス規模と数桁違う（私のは訳200件）こともあり激烈にスコアが低いんですが、それも込みでこれからやるに向けての問題洗い出しをしているという発表をしてきました。私自身懸念している「教育用途ならゴールが翻訳でいいのか問 …

続きを読む

午前はNL研の続きがあったけども見送って、NLP2024に参加してきました。 基本的には参加人数考えるとびっくりするぐらいスムーズな運営になっていて驚きました。参加証は事前受付（郵送済み）で当日受付なしに割り切ってたり、スポンサー、会場、イベント、現地情報様々なチャンネルがSlackで事前用意済みで発表中もそこで空中戦。X（旧Twitter）いらねーという感じも悪くない。 どこまでマニュアル化してるのかしながら進めてるのかわからないけど、凄いな。 ただし会場のチョイスの問題だと思うけど電源補給口不足なのが気がかり。 どこかの大学でやるとそのあたりもクリアしやすかったんじゃないかと思うけど、昨日のIPSJ NL研も今日のNLPもどち …

続きを読む