言語処理学会最終日はワークショップ1: LLM時代のことばの評価の現在と未来に参加してきました。 大規模言語モデル（LLM）はことばの生成と評価の両面で活用が広がり，人間のことばの運用に大きく影響を与えることは間違いない． LLM as a judge と呼ばれる評価への利用はことばの評価を目的に則して柔軟に行うための非常に有望なアプローチとして期待される一方で，LLMが苦手なことは正確な評価が難しいという問題もある． LLMそのものを評価に使うのも良いけど特性把握しとかないと危険だよねとか、既存の評価指標だけでも測れていない側面あるよねというような視点で Shared task を設定し、皆で取り組んで知見共有しようというワークシ …

続きを読む

言語処理学会年次大会4日目。まだ明日もあるけどそろそろお疲れモード。オンライン参加なので籠もっている＆ご飯普通に食べておやつも食べてるのだけど体重と体脂肪率は下降傾向に。これはあれですね、やつれてる。 今日は対話、LLM構築、招待講演に参加。うちの学生（船迫さん）も質問コメントどしどし貰えてて良かった！ D8: 対話(1) D9: 対話(2) C10: LLM構築 D8-1: 話者特性に基づくターンテイキング速度の分析 話者間の役割/関係性/個人特性の違いが、ターンが取られるタイミング（というより速度か）に影響しているのではという検証結果。因果関係は不明だけど、そういう風に認知されやすいというのはあるのかな。 D8-2: 性格特性に …

続きを読む

学会3日目はずっとAセッション（A5〜A7, NLPモデルの解釈可能性・分析）に参加してました。 A5 A6 A7 A5-1: 層の冗長性と層同士の独立性に基づく言語モデルの層交換の成否の特徴づけ モデルマージしやすい条件を明確にしたい。層を線形変換で近似することで冗長性と独立性を計測して検証したという話。 A5-2: 束縛変項照応を用いた大規模言語モデルのプロービング 複数要因が絡む状況下でそれを判別する質問項目追加することで被験者をカテゴライズするという考え方自体はあちこちで役立ちそう。 A5-3: Tracing the Roots of Facts in Multilingual Language Models: …

続きを読む

学会オンライン参加2日目。今日はNLPモデルの評価・安全性・信頼性なセッション（A1, A2）と心理言語学・認知モデリング（B3, B4）、招待講演に参加してきました。以下面白かった発表メモ。 A1-3: 有害性評価と巻き戻しによる LLM の有害コンテンツ生成回避 有害コンテンツ回避を目的とした事例が増えてきているけども多くは学習コストなり推論コストが高くて辛いよねということから、なるべく「軽量かつ効果的」な方針をとりたいというのが狙い。そこでチェックタイミングを「モデルの息継ぎ（単語出力時の確率が低い状態≒次にどの単語を出力しようか迷っている状態）」を基準としてチェックするようにすることで軽量にしたとのこと。 A1-6: 手動設 …

続きを読む

NLP2025が始まりました。今回は自腹なので旅費ケチるためと、会場参加それなりに大変(*1)だということを去年思い知ったので、今年はオンライン参加することに。 (*1) ほぼ会場は椅子だけ。ノートPCを膝上で開きつつ Slack やらあれこれする。その割に充電コーナーはかなり少ない。 初日はチュートリアルのみです。 T1: 言語モデルの内部機序：解析と解釈 スライド 関連事例紹介ベースに掘り下げつつ体系化した紹介がメインではあったけども、「面白いよね」で終わらず、このアプローチ自体への疑義も示してくれてました。例えば、、 そもそも概念や機能がモデル内部のどこか（内部表現や計算機構）に局所的に埋め込まれているという前提は妥当なのか？ …

続きを読む

学士の最終発表が先週（2/10）、修士の最終発表が昨日（2/20）終了しました。研究室恒例の卒業生＆修了生主体でやって貰ってる「新配属生向けミニワークショップ」も終了ということで、基本的なタスクはほぼほぼ終わりですね。正確にはまだ残ってるタスク（主に成果物整理）は残ってたりしますが、それは追々やって貰うということで。 参考 2024年度 2022年度 2019年度 2025年度のネタはこんな感じでした。 セッション1 研究の息抜き 振り返ってみるとこうしたら良かった 卒業研究について 研究で役に立つTips 君も大学院生にならないか🖐️２ ターミナルでタスク管理しよう Taskwarrior 入門（残念ながらスキップ） セッション2 …

続きを読む

微妙に時系列悩んだけど DeepSeek LLM => R1-Zero => R1 という流れなのかな。最初に公式ページから見つけたリポジトリが DeepSeek LLM の方で、そっちの論文は古かったんだよな。以下は DeepSeek-R1 についての雑感メモ。 ステップ 目的 手法 結果 Step 1: 事前学習 言語知識を獲得 大規模コーパスで学習 言語理解は可能だが推論能力は未熟 Step 2: Cold Start SFT 回答フォーマットと可読性の向上 高品質な少量データでSFT RLの初期学習がスムーズに進む Step 3: GRPO 推論能力を強化 強化学習（RL）+ 報酬関数 数学・論理推論・コーディン …

続きを読む

年明け一発目のゼミが終了しました。毎年恒例行事で多くの卒論・修論生は追い込み時期ということもあって予定時間超過することが多くなる時期でもあります。インフルエンザが猛威を振るってることや冷え込む時期ということもあって体調不良で休んでいる人もいましたが、それでも予定時間をかなりオーバー。他の人の話聞かなくていいじゃんとか思ってる人いるかもしれないけど、メタ的には似たような指摘をしていることが多くて、ゼミやる意義でもあるのだよな。（似た失敗してるということは私自身の指導が毎回偏っていることの証左でもあるのだろうけど） 文脈を気にせず「誰それがこれやってるからやってみた」というやり方はダメ。 いろいろやっているのは分かるが「論文として整理し …

続きを読む

幸いなことに知能情報コースにはTesla V100S付きのサーバが4台あるお陰で、実質的にGPU使い放題です。1台で LLM 8B ぐらいまでは辛うじて full パラメータ学習でき、13Bでも LoRA なら学習できるぐらいの環境。DeepSpeedとかで分散処理するともう少し大きなモデルまで学習できるかもしれませんが、そこは試していません。 この時期（12月）は卒論修論追い込みでもあるのでジョブ貯まりまくりかなと思ってたけれどもたまに覗く限りではスカスカ。たまに 1 job 動いてるのを見かけるぐらい。研究室の環境で十分ということかもしれないし、Google Colabの無料分で十分とか、ほんのり課金で事足りてるかもしれないし、 …

続きを読む

せっかくなので琉球大学(知能情報)アドベントカレンダー Advent Calendar 20243日目の記事だ！ 授業「情報科学演習」 2022年から共通教育の授業「情報科学演習」を1クラス担当することになりました。とはいえシラバス眺めてみると「クラス毎に大分中身が違う」のだよな。大別すると以下の3点にまとめられそうだけど、殆どの授業は前者2つがメインかもしれません。 情報リテラシー Office系ソフトの演習 データサイエンス系の演習 これに対して高校では2022年4月から新しい学習指導要領が始まっているので、2025年度からは情報Iを履修した生徒が入ってきます。指導要領の解説から抜粋すると以下のようなことを掲げているらしい。 今 …

続きを読む