授業「データマイニング」話。他コースも受講している都合上Teamsを使っていて、そこで質問and/or回答したら点数化しています。質問する練習にもなるし討論することで初めて腑に落ちる部分があるだろうということで。授業中に質問当てる方が早い気もしますが、ランダムに当てるのも名簿から当てるのも何か気持ち的に悪いので、全員に当てられる少人数の授業だけでしかやっていません。これは個人的な好みの問題か。 質疑応答の点数化をやりはじめた当初はオプション扱いに留めていました。しかし余りにもやりとりが起こらず、かつ、毎週やってるミニテストで的外れすぎる解答書いてくる学生も割といるという状況が続いていました。（的外れが少ないなら質問で無くても良いかも …

続きを読む

が格好良すぎたという報告。 ゼミで出た質問に対し背景に遡って位置づけ示し、何故こういう数式になっているかを書き下していきながら解説。微妙に怪しいところもあったけどその都度論文に戻って「あぁ、ここはこうだった」とやり直しつつ進めていく。これだけやれる力あるのは十分凄いな。

続きを読む

授業以外にも学生実験やらゼミやらあれこれ始まり、学内でも普段から学生を見かけるように。とはいえ今朝はかなりの土砂降りで靴下ぐちょぐちょ。工1-322教室の水漏れはそれが原因だったのか換気扇のトラブルなのか分からないけどバケツ置いて急場をしのいでる状態でした。 学生実験の方は、個人的には「少人数でやることでなるべく苦手意識持ってる人にも細かく見てあげる場」として使いたい気持ちがありますが、ここ最近は担当教員減る一方なので15〜20名ぐらいを一度にやってるとどうしても見落としが出てきてしまうのが残念。個別の時間取るようにしようとはしてますが、限界はあるな。それでも「コピペして実行したけどうまくいかないケース」を発見してあれこれ指導できた …

続きを読む

2025年度の授業は今日開始でデータマイニングも今日から。去年まで隔年開講だったので、開講年は2学年分受講があって100名超えが多かったのは仕方ないとして、今年から通年開講で連続開講してるのに今年も80名ぐらいいるのは何故なんだ〜〜。 他コースも受講するし場合によってはタブレットぐらいしか持っていない学生もいるので最低限Google Colabでどうにかなるようにしてますが、学生にとってそれが嬉しいのかどうかは良く分からず。 同じく他コース受講生らもいるということで、連絡網どうするかで毎回悩むのも恒例。ここ数年は Teams + Google共有ドライブの形が多いかな。Teamsは録画アーカイブ置き場と質問相談対応。Google共有 …

続きを読む

あまりにも長くなったのでAttention以降はカット（別資料行き）することにして、そこに至るモデル発展の歴史という部分を中心に書き上げることにした結果、 古典的機械学習から自己教師あり学習へ（深層学習パラダイムの基盤と展開） こんな感じになりました。 ついでに扱い気持ちはありつつ扱っていない部分があったので（おまけ）意思決定の落とし穴を機械学習資料に追加。 授業「データマイニング」の方はひとまずこれで一区切りにしておこうかな。

続きを読む

授業資料の作成を進めています。去年から「データマイニング」の中でTrasnfomerまで扱っててそれなりに資料はあるのだけど「全体の見通しが悪い」「資料だけでは足りていない部分は口頭で補っている」というありがちな状況。そんなこんなで読みやすさも含めて全体的に作り直そうかと。特に各技術を解説するという部分ではなくて歴史的推移をあれこれ補う形で作成したい。 とはいってもゼロから作るのではなく。手元にある資料はそれなりにあるので、markdownで書いてあるものはそのままコピペしつつ、スライドになってるやつは1枚のファイルに結合した上で ChatGPT o1 さんに「解説上の誤りがあれば指摘した上で修正案を示し、最後に古典的NNか …

続きを読む

言語処理学会最終日はワークショップ1: LLM時代のことばの評価の現在と未来に参加してきました。 大規模言語モデル（LLM）はことばの生成と評価の両面で活用が広がり，人間のことばの運用に大きく影響を与えることは間違いない． LLM as a judge と呼ばれる評価への利用はことばの評価を目的に則して柔軟に行うための非常に有望なアプローチとして期待される一方で，LLMが苦手なことは正確な評価が難しいという問題もある． LLMそのものを評価に使うのも良いけど特性把握しとかないと危険だよねとか、既存の評価指標だけでも測れていない側面あるよねというような視点で Shared task を設定し、皆で取り組んで知見共有しようというワークシ …

続きを読む

言語処理学会年次大会4日目。まだ明日もあるけどそろそろお疲れモード。オンライン参加なので籠もっている＆ご飯普通に食べておやつも食べてるのだけど体重と体脂肪率は下降傾向に。これはあれですね、やつれてる。 今日は対話、LLM構築、招待講演に参加。うちの学生（船迫さん）も質問コメントどしどし貰えてて良かった！ D8: 対話(1) D9: 対話(2) C10: LLM構築 D8-1: 話者特性に基づくターンテイキング速度の分析 話者間の役割/関係性/個人特性の違いが、ターンが取られるタイミング（というより速度か）に影響しているのではという検証結果。因果関係は不明だけど、そういう風に認知されやすいというのはあるのかな。 D8-2: 性格特性に …

続きを読む

学会3日目はずっとAセッション（A5〜A7, NLPモデルの解釈可能性・分析）に参加してました。 A5 A6 A7 A5-1: 層の冗長性と層同士の独立性に基づく言語モデルの層交換の成否の特徴づけ モデルマージしやすい条件を明確にしたい。層を線形変換で近似することで冗長性と独立性を計測して検証したという話。 A5-2: 束縛変項照応を用いた大規模言語モデルのプロービング 複数要因が絡む状況下でそれを判別する質問項目追加することで被験者をカテゴライズするという考え方自体はあちこちで役立ちそう。 A5-3: Tracing the Roots of Facts in Multilingual Language Models: …

続きを読む

学会オンライン参加2日目。今日はNLPモデルの評価・安全性・信頼性なセッション（A1, A2）と心理言語学・認知モデリング（B3, B4）、招待講演に参加してきました。以下面白かった発表メモ。 A1-3: 有害性評価と巻き戻しによる LLM の有害コンテンツ生成回避 有害コンテンツ回避を目的とした事例が増えてきているけども多くは学習コストなり推論コストが高くて辛いよねということから、なるべく「軽量かつ効果的」な方針をとりたいというのが狙い。そこでチェックタイミングを「モデルの息継ぎ（単語出力時の確率が低い状態≒次にどの単語を出力しようか迷っている状態）」を基準としてチェックするようにすることで軽量にしたとのこと。 A1-6: 手動設 …

続きを読む