幸いなことに知能情報コースにはTesla V100S付きのサーバが4台あるお陰で、実質的にGPU使い放題です。1台で LLM 8B ぐらいまでは辛うじて full パラメータ学習でき、13Bでも LoRA なら学習できるぐらいの環境。DeepSpeedとかで分散処理するともう少し大きなモデルまで学習できるかもしれませんが、そこは試していません。 この時期（12月）は卒論修論追い込みでもあるのでジョブ貯まりまくりかなと思ってたけれどもたまに覗く限りではスカスカ。たまに 1 job 動いてるのを見かけるぐらい。研究室の環境で十分ということかもしれないし、Google Colabの無料分で十分とか、ほんのり課金で事足りてるかもしれないし、 …

続きを読む

せっかくなので琉球大学(知能情報)アドベントカレンダー Advent Calendar 20243日目の記事だ！ 授業「情報科学演習」 2022年から共通教育の授業「情報科学演習」を1クラス担当することになりました。とはいえシラバス眺めてみると「クラス毎に大分中身が違う」のだよな。大別すると以下の3点にまとめられそうだけど、殆どの授業は前者2つがメインかもしれません。 情報リテラシー Office系ソフトの演習 データサイエンス系の演習 これに対して高校では2022年4月から新しい学習指導要領が始まっているので、2025年度からは情報Iを履修した生徒が入ってきます。指導要領の解説から抜粋すると以下のようなことを掲げているらしい。 今 …

続きを読む

琉球大学(知能情報)アドベントカレンダー Advent Calendar 2024が空いてるので2日目の記事です！！ 授業「プログラミング1」の変遷 私がプログラミング1を担当し始めたのが2016年。このタイミングでPythonにしました。基本情報処理技術者試験では2020年度からPython追加されてるので、数年前からやってたことになりますね。とはいえ2023年の試験からは疑似言語に統一されているんだよな。 英語教科書指定は大分不満があっただろうなと想像します。でもこの教科書はそれなりに平易な英語で書かれてて、コース会議でも回覧して承認してもらったし、プログラミング系公式ドキュメントは殆ど英語で書かれてることを考えると最初から英語 …

続きを読む

1　|￣￣￣￣￣￣￣￣￣￣￣￣| 2 |　ゆっくりしていってね　| 3 |＿＿＿＿＿＿＿＿＿＿＿＿| 4 ∧∧ || 5 (｡•ㅅ•)|| 6 /　づΦ アドベントカレンダーとは？ この記事は琉球大学(知能情報)アドベントカレンダー Advent Calendar 2024の記事です。アドベントカレンダーとは、 アドベントカレンダー (Advent calendar) は、クリスマスまでの期間に日数を数えるために使用されるカレンダーである。待降節の期間（アドベント、イエス・キリストの降誕を待ち望む期間）に窓を毎日ひとつずつ開けていくカレンダーである。すべての窓を開け終わると迎えたことになる。 by Wikipedia:アドベントカレ …

続きを読む

水曜から体調崩してて日曜日にようやく復活傾向に。疲れてるけどすっきりしつつあります。 あれこれ代理で仕事お願いしまくった教職員、学生の皆さん、助かりましたー！！ サマリ 体調不良を自覚（5/8, 昼過ぎ）後、12時間経過後からの1.5日間が最も辛かった。脳内ザッピングきつい。 それ以降は我慢できるレベル。 急に美味しいもの食べるのは危険。 2024/5/8(水) 昼過ぎ頃、体調の悪さを自覚。仮眠取ることを決めたぐらいのレベル。仮眠後は通常復帰。 夕方、寒気を感じる。37度超え。 深夜、頭痛。38.5度。これ以降ほぼ38度超え。寝れないことはないが1時間おきに目覚める感じ。 2024/5/9(木) 解熱効果もある頭痛薬あるので最悪それ …

続きを読む

かなり悔しい気持ちがあるので戒めを兼ねてのブログ書き。 Sakana AIで取り組んできたことを発表できました！密かに一部で流行りつつある基盤モデル界の黒魔術「モデルマージ」を、進化的計算によって自動化＆高度化しました。「日本語LLM + 英語VLM → 日本語VLM」のような、今まで見たことのないマージも成功しています。見てね！https://t.co/X0gUZfna6u — Takuya Akiba (@iwiwi) March 21, 2024 sakana.di: 進化的アルゴリズムによる基盤モデルの構築という発表が流れてました。 遺伝的アルゴリズム (Genetic Algorithm; GA) や進化的アル …

続きを読む

気になってたお店にギリギリ間に合った pic.twitter.com/riLTVHXtjA — Naruaki TOMA 温泉旅行... (@naltoma) March 15, 2024 お疲れモードなので今日はホテルからオンライン参加することに。机があるって素晴らしい。（会場はほとんど椅子のみ） NLP最終日はワークショップ: 生成AI時代の自然言語処理における産学官の役割と課題に参加してました。セッションの中身としては「それぞれ尖った部分で活躍してる人の活動紹介や問題共有」という感じで、普段聞いたことない内容が多かったという点で面白かった。 全日程を通して心に残ったことは、、 (1) 認知科学ドメインとの連携楽しそ …

続きを読む

SABAR pic.twitter.com/K1yL5kBslX — Naruaki TOMA 温泉旅行... (@naltoma) March 14, 2024 NLP2024の主プログラム（一般発表がある日）としては今日が最終日という位置づけらしく、クロージングも有りました。すっぽかしたけど、Slack眺める限りでは優秀賞やら次年度開催予定地で盛り上がってたようです。 今日も面白い発表あったのだけど、それ以上に昨日の認知モデリングな話がこびり付いたままだとか、単に疲れだとかであまり集中できず。実際に心に残るぐらい聞けたのは最初のセッションぐらいだな、、。 BabyBERTaなるモデルがあるらしい。人間の6歳児までの間 …

続きを読む

Swallow関連発表の「A6:LLMデータ構築」、認知モデリング関連の「D7:心理言語学・認知モデリング」を中心に参加。 コーパス構築はやっぱり大変だなぁ。ichikara-instructionは「LLMのための日本語インストラクションデータ」を人力作成したという話で現時点で約1万件。論文時点ではその半分まで準備できていて、件数変えてどういう寄与が見込めるかを下流タスクとしてRakudaで検証してみてるらしい。 継続事前学習は（コーパスに依存すると思うけど）、一旦性能低下した後で徐々にかいく付していく傾向がある模様。ヒトが新しい分野について学ぶような状況の学習曲線みたいなものに似てたりするのかな。別発表でもファインチューニングで …

続きを読む

2日目、一般セッションは今日から開始。お昼はキッチンカーが複数来てくれててお手軽。 屋比久さん（C1-5）と當間（B1-3）が同じ時間帯での発表になるため、双方独立発表することに。こんなこともあるよね。自分発表無いならセッション途中で抜けることもあるけど、今回は「がんばれ！」と応援するだけに留めました。 私は狩俣先生等との共同研究（日琉翻訳モデル構築）開始に向けた事前準備的な発表をしてきました。前後の発表で用いているコーパス規模と数桁違う（私のは訳200件）こともあり激烈にスコアが低いんですが、それも込みでこれからやるに向けての問題洗い出しをしているという発表をしてきました。私自身懸念している「教育用途ならゴールが翻訳でいいのか問 …

続きを読む