NLP2025が始まりました。今回は自腹なので旅費ケチるためと、会場参加それなりに大変(*1)だということを去年思い知ったので、今年はオンライン参加することに。 (*1) ほぼ会場は椅子だけ。ノートPCを膝上で開きつつ Slack やらあれこれする。その割に充電コーナーはかなり少ない。 初日はチュートリアルのみです。 T1: 言語モデルの内部機序：解析と解釈 スライド 関連事例紹介ベースに掘り下げつつ体系化した紹介がメインではあったけども、「面白いよね」で終わらず、このアプローチ自体への疑義も示してくれてました。例えば、、 そもそも概念や機能がモデル内部のどこか（内部表現や計算機構）に局所的に埋め込まれているという前提は妥当なのか？ …

続きを読む

学士の最終発表が先週（2/10）、修士の最終発表が昨日（2/20）終了しました。研究室恒例の卒業生＆修了生主体でやって貰ってる「新配属生向けミニワークショップ」も終了ということで、基本的なタスクはほぼほぼ終わりですね。正確にはまだ残ってるタスク（主に成果物整理）は残ってたりしますが、それは追々やって貰うということで。 参考 2024年度 2022年度 2019年度 2025年度のネタはこんな感じでした。 セッション1 研究の息抜き 振り返ってみるとこうしたら良かった 卒業研究について 研究で役に立つTips 君も大学院生にならないか🖐️２ ターミナルでタスク管理しよう Taskwarrior 入門（残念ながらスキップ） セッション2 …

続きを読む

微妙に時系列悩んだけど DeepSeek LLM => R1-Zero => R1 という流れなのかな。最初に公式ページから見つけたリポジトリが DeepSeek LLM の方で、そっちの論文は古かったんだよな。以下は DeepSeek-R1 についての雑感メモ。 ステップ 目的 手法 結果 Step 1: 事前学習 言語知識を獲得 大規模コーパスで学習 言語理解は可能だが推論能力は未熟 Step 2: Cold Start SFT 回答フォーマットと可読性の向上 高品質な少量データでSFT RLの初期学習がスムーズに進む Step 3: GRPO 推論能力を強化 強化学習（RL）+ 報酬関数 数学・論理推論・コーディン …

続きを読む

年明け一発目のゼミが終了しました。毎年恒例行事で多くの卒論・修論生は追い込み時期ということもあって予定時間超過することが多くなる時期でもあります。インフルエンザが猛威を振るってることや冷え込む時期ということもあって体調不良で休んでいる人もいましたが、それでも予定時間をかなりオーバー。他の人の話聞かなくていいじゃんとか思ってる人いるかもしれないけど、メタ的には似たような指摘をしていることが多くて、ゼミやる意義でもあるのだよな。（似た失敗してるということは私自身の指導が毎回偏っていることの証左でもあるのだろうけど） 文脈を気にせず「誰それがこれやってるからやってみた」というやり方はダメ。 いろいろやっているのは分かるが「論文として整理し …

続きを読む

幸いなことに知能情報コースにはTesla V100S付きのサーバが4台あるお陰で、実質的にGPU使い放題です。1台で LLM 8B ぐらいまでは辛うじて full パラメータ学習でき、13Bでも LoRA なら学習できるぐらいの環境。DeepSpeedとかで分散処理するともう少し大きなモデルまで学習できるかもしれませんが、そこは試していません。 この時期（12月）は卒論修論追い込みでもあるのでジョブ貯まりまくりかなと思ってたけれどもたまに覗く限りではスカスカ。たまに 1 job 動いてるのを見かけるぐらい。研究室の環境で十分ということかもしれないし、Google Colabの無料分で十分とか、ほんのり課金で事足りてるかもしれないし、 …

続きを読む

せっかくなので琉球大学(知能情報)アドベントカレンダー Advent Calendar 20243日目の記事だ！ 授業「情報科学演習」 2022年から共通教育の授業「情報科学演習」を1クラス担当することになりました。とはいえシラバス眺めてみると「クラス毎に大分中身が違う」のだよな。大別すると以下の3点にまとめられそうだけど、殆どの授業は前者2つがメインかもしれません。 情報リテラシー Office系ソフトの演習 データサイエンス系の演習 これに対して高校では2022年4月から新しい学習指導要領が始まっているので、2025年度からは情報Iを履修した生徒が入ってきます。指導要領の解説から抜粋すると以下のようなことを掲げているらしい。 今 …

続きを読む

琉球大学(知能情報)アドベントカレンダー Advent Calendar 2024が空いてるので2日目の記事です！！ 授業「プログラミング1」の変遷 私がプログラミング1を担当し始めたのが2016年。このタイミングでPythonにしました。基本情報処理技術者試験では2020年度からPython追加されてるので、数年前からやってたことになりますね。とはいえ2023年の試験からは疑似言語に統一されているんだよな。 英語教科書指定は大分不満があっただろうなと想像します。でもこの教科書はそれなりに平易な英語で書かれてて、コース会議でも回覧して承認してもらったし、プログラミング系公式ドキュメントは殆ど英語で書かれてることを考えると最初から英語 …

続きを読む

1　|￣￣￣￣￣￣￣￣￣￣￣￣| 2 |　ゆっくりしていってね　| 3 |＿＿＿＿＿＿＿＿＿＿＿＿| 4 ∧∧ || 5 (｡•ㅅ•)|| 6 /　づΦ アドベントカレンダーとは？ この記事は琉球大学(知能情報)アドベントカレンダー Advent Calendar 2024の記事です。アドベントカレンダーとは、 アドベントカレンダー (Advent calendar) は、クリスマスまでの期間に日数を数えるために使用されるカレンダーである。待降節の期間（アドベント、イエス・キリストの降誕を待ち望む期間）に窓を毎日ひとつずつ開けていくカレンダーである。すべての窓を開け終わると迎えたことになる。 by Wikipedia:アドベントカレ …

続きを読む

水曜から体調崩してて日曜日にようやく復活傾向に。疲れてるけどすっきりしつつあります。 あれこれ代理で仕事お願いしまくった教職員、学生の皆さん、助かりましたー！！ サマリ 体調不良を自覚（5/8, 昼過ぎ）後、12時間経過後からの1.5日間が最も辛かった。脳内ザッピングきつい。 それ以降は我慢できるレベル。 急に美味しいもの食べるのは危険。 2024/5/8(水) 昼過ぎ頃、体調の悪さを自覚。仮眠取ることを決めたぐらいのレベル。仮眠後は通常復帰。 夕方、寒気を感じる。37度超え。 深夜、頭痛。38.5度。これ以降ほぼ38度超え。寝れないことはないが1時間おきに目覚める感じ。 2024/5/9(木) 解熱効果もある頭痛薬あるので最悪それ …

続きを読む

かなり悔しい気持ちがあるので戒めを兼ねてのブログ書き。 Sakana AIで取り組んできたことを発表できました！密かに一部で流行りつつある基盤モデル界の黒魔術「モデルマージ」を、進化的計算によって自動化＆高度化しました。「日本語LLM + 英語VLM → 日本語VLM」のような、今まで見たことのないマージも成功しています。見てね！https://t.co/X0gUZfna6u — Takuya Akiba (@iwiwi) March 21, 2024 sakana.di: 進化的アルゴリズムによる基盤モデルの構築という発表が流れてました。 遺伝的アルゴリズム (Genetic Algorithm; GA) や進化的アル …

続きを読む