あまりにも長くなったのでAttention以降はカット（別資料行き）することにして、そこに至るモデル発展の歴史という部分を中心に書き上げることにした結果、 古典的機械学習から自己教師あり学習へ（深層学習パラダイムの基盤と展開） こんな感じになりました。 ついでに扱い気持ちはありつつ扱っていない部分があったので（おまけ）意思決定の落とし穴を機械学習資料に追加。 授業「データマイニング」の方はひとまずこれで一区切りにしておこうかな。

続きを読む

授業資料の作成を進めています。去年から「データマイニング」の中でTrasnfomerまで扱っててそれなりに資料はあるのだけど「全体の見通しが悪い」「資料だけでは足りていない部分は口頭で補っている」というありがちな状況。そんなこんなで読みやすさも含めて全体的に作り直そうかと。特に各技術を解説するという部分ではなくて歴史的推移をあれこれ補う形で作成したい。 とはいってもゼロから作るのではなく。手元にある資料はそれなりにあるので、markdownで書いてあるものはそのままコピペしつつ、スライドになってるやつは1枚のファイルに結合した上で ChatGPT o1 さんに「解説上の誤りがあれば指摘した上で修正案を示し、最後に古典的NNか …

続きを読む

言語処理学会最終日はワークショップ1: LLM時代のことばの評価の現在と未来に参加してきました。 大規模言語モデル（LLM）はことばの生成と評価の両面で活用が広がり，人間のことばの運用に大きく影響を与えることは間違いない． LLM as a judge と呼ばれる評価への利用はことばの評価を目的に則して柔軟に行うための非常に有望なアプローチとして期待される一方で，LLMが苦手なことは正確な評価が難しいという問題もある． LLMそのものを評価に使うのも良いけど特性把握しとかないと危険だよねとか、既存の評価指標だけでも測れていない側面あるよねというような視点で Shared task を設定し、皆で取り組んで知見共有しようというワークシ …

続きを読む

言語処理学会年次大会4日目。まだ明日もあるけどそろそろお疲れモード。オンライン参加なので籠もっている＆ご飯普通に食べておやつも食べてるのだけど体重と体脂肪率は下降傾向に。これはあれですね、やつれてる。 今日は対話、LLM構築、招待講演に参加。うちの学生（船迫さん）も質問コメントどしどし貰えてて良かった！ D8: 対話(1) D9: 対話(2) C10: LLM構築 D8-1: 話者特性に基づくターンテイキング速度の分析 話者間の役割/関係性/個人特性の違いが、ターンが取られるタイミング（というより速度か）に影響しているのではという検証結果。因果関係は不明だけど、そういう風に認知されやすいというのはあるのかな。 D8-2: 性格特性に …

続きを読む

学会3日目はずっとAセッション（A5〜A7, NLPモデルの解釈可能性・分析）に参加してました。 A5 A6 A7 A5-1: 層の冗長性と層同士の独立性に基づく言語モデルの層交換の成否の特徴づけ モデルマージしやすい条件を明確にしたい。層を線形変換で近似することで冗長性と独立性を計測して検証したという話。 A5-2: 束縛変項照応を用いた大規模言語モデルのプロービング 複数要因が絡む状況下でそれを判別する質問項目追加することで被験者をカテゴライズするという考え方自体はあちこちで役立ちそう。 A5-3: Tracing the Roots of Facts in Multilingual Language Models: …

続きを読む

学会オンライン参加2日目。今日はNLPモデルの評価・安全性・信頼性なセッション（A1, A2）と心理言語学・認知モデリング（B3, B4）、招待講演に参加してきました。以下面白かった発表メモ。 A1-3: 有害性評価と巻き戻しによる LLM の有害コンテンツ生成回避 有害コンテンツ回避を目的とした事例が増えてきているけども多くは学習コストなり推論コストが高くて辛いよねということから、なるべく「軽量かつ効果的」な方針をとりたいというのが狙い。そこでチェックタイミングを「モデルの息継ぎ（単語出力時の確率が低い状態≒次にどの単語を出力しようか迷っている状態）」を基準としてチェックするようにすることで軽量にしたとのこと。 A1-6: 手動設 …

続きを読む

NLP2025が始まりました。今回は自腹なので旅費ケチるためと、会場参加それなりに大変(*1)だということを去年思い知ったので、今年はオンライン参加することに。 (*1) ほぼ会場は椅子だけ。ノートPCを膝上で開きつつ Slack やらあれこれする。その割に充電コーナーはかなり少ない。 初日はチュートリアルのみです。 T1: 言語モデルの内部機序：解析と解釈 スライド 関連事例紹介ベースに掘り下げつつ体系化した紹介がメインではあったけども、「面白いよね」で終わらず、このアプローチ自体への疑義も示してくれてました。例えば、、 そもそも概念や機能がモデル内部のどこか（内部表現や計算機構）に局所的に埋め込まれているという前提は妥当なのか？ …

続きを読む

学士の最終発表が先週（2/10）、修士の最終発表が昨日（2/20）終了しました。研究室恒例の卒業生＆修了生主体でやって貰ってる「新配属生向けミニワークショップ」も終了ということで、基本的なタスクはほぼほぼ終わりですね。正確にはまだ残ってるタスク（主に成果物整理）は残ってたりしますが、それは追々やって貰うということで。 参考 2024年度 2022年度 2019年度 2025年度のネタはこんな感じでした。 セッション1 研究の息抜き 振り返ってみるとこうしたら良かった 卒業研究について 研究で役に立つTips 君も大学院生にならないか🖐️２ ターミナルでタスク管理しよう Taskwarrior 入門（残念ながらスキップ） セッション2 …

続きを読む

微妙に時系列悩んだけど DeepSeek LLM => R1-Zero => R1 という流れなのかな。最初に公式ページから見つけたリポジトリが DeepSeek LLM の方で、そっちの論文は古かったんだよな。以下は DeepSeek-R1 についての雑感メモ。 ステップ 目的 手法 結果 Step 1: 事前学習 言語知識を獲得 大規模コーパスで学習 言語理解は可能だが推論能力は未熟 Step 2: Cold Start SFT 回答フォーマットと可読性の向上 高品質な少量データでSFT RLの初期学習がスムーズに進む Step 3: GRPO 推論能力を強化 強化学習（RL）+ 報酬関数 数学・論理推論・コーディン …

続きを読む

年明け一発目のゼミが終了しました。毎年恒例行事で多くの卒論・修論生は追い込み時期ということもあって予定時間超過することが多くなる時期でもあります。インフルエンザが猛威を振るってることや冷え込む時期ということもあって体調不良で休んでいる人もいましたが、それでも予定時間をかなりオーバー。他の人の話聞かなくていいじゃんとか思ってる人いるかもしれないけど、メタ的には似たような指摘をしていることが多くて、ゼミやる意義でもあるのだよな。（似た失敗してるということは私自身の指導が毎回偏っていることの証左でもあるのだろうけど） 文脈を気にせず「誰それがこれやってるからやってみた」というやり方はダメ。 いろいろやっているのは分かるが「論文として整理し …

続きを読む