1　|￣￣￣￣￣￣￣￣￣￣￣￣| 2 |　ゆっくりしていってね　| 3 |＿＿＿＿＿＿＿＿＿＿＿＿| 4 ∧∧ || 5 (｡•ㅅ•)|| 6 /　づΦ アドベントカレンダーとは？ この記事は琉球大学(知能情報)アドベントカレンダー Advent Calendar 2024の記事です。アドベントカレンダーとは、 アドベントカレンダー (Advent calendar) は、クリスマスまでの期間に日数を数えるために使用されるカレンダーである。待降節の期間（アドベント、イエス・キリストの降誕を待ち望む期間）に窓を毎日ひとつずつ開けていくカレンダーである。すべての窓を開け終わると迎えたことになる。 by Wikipedia:アドベントカレ …

続きを読む

水曜から体調崩してて日曜日にようやく復活傾向に。疲れてるけどすっきりしつつあります。 あれこれ代理で仕事お願いしまくった教職員、学生の皆さん、助かりましたー！！ サマリ 体調不良を自覚（5/8, 昼過ぎ）後、12時間経過後からの1.5日間が最も辛かった。脳内ザッピングきつい。 それ以降は我慢できるレベル。 急に美味しいもの食べるのは危険。 2024/5/8(水) 昼過ぎ頃、体調の悪さを自覚。仮眠取ることを決めたぐらいのレベル。仮眠後は通常復帰。 夕方、寒気を感じる。37度超え。 深夜、頭痛。38.5度。これ以降ほぼ38度超え。寝れないことはないが1時間おきに目覚める感じ。 2024/5/9(木) 解熱効果もある頭痛薬あるので最悪それ …

続きを読む

かなり悔しい気持ちがあるので戒めを兼ねてのブログ書き。 Sakana AIで取り組んできたことを発表できました！密かに一部で流行りつつある基盤モデル界の黒魔術「モデルマージ」を、進化的計算によって自動化＆高度化しました。「日本語LLM + 英語VLM → 日本語VLM」のような、今まで見たことのないマージも成功しています。見てね！https://t.co/X0gUZfna6u — Takuya Akiba (@iwiwi) March 21, 2024 sakana.di: 進化的アルゴリズムによる基盤モデルの構築という発表が流れてました。 遺伝的アルゴリズム (Genetic Algorithm; GA) や進化的アル …

続きを読む

気になってたお店にギリギリ間に合った pic.twitter.com/riLTVHXtjA — Naruaki TOMA 温泉旅行... (@naltoma) March 15, 2024 お疲れモードなので今日はホテルからオンライン参加することに。机があるって素晴らしい。（会場はほとんど椅子のみ） NLP最終日はワークショップ: 生成AI時代の自然言語処理における産学官の役割と課題に参加してました。セッションの中身としては「それぞれ尖った部分で活躍してる人の活動紹介や問題共有」という感じで、普段聞いたことない内容が多かったという点で面白かった。 全日程を通して心に残ったことは、、 (1) 認知科学ドメインとの連携楽しそ …

続きを読む

SABAR pic.twitter.com/K1yL5kBslX — Naruaki TOMA 温泉旅行... (@naltoma) March 14, 2024 NLP2024の主プログラム（一般発表がある日）としては今日が最終日という位置づけらしく、クロージングも有りました。すっぽかしたけど、Slack眺める限りでは優秀賞やら次年度開催予定地で盛り上がってたようです。 今日も面白い発表あったのだけど、それ以上に昨日の認知モデリングな話がこびり付いたままだとか、単に疲れだとかであまり集中できず。実際に心に残るぐらい聞けたのは最初のセッションぐらいだな、、。 BabyBERTaなるモデルがあるらしい。人間の6歳児までの間 …

続きを読む

Swallow関連発表の「A6:LLMデータ構築」、認知モデリング関連の「D7:心理言語学・認知モデリング」を中心に参加。 コーパス構築はやっぱり大変だなぁ。ichikara-instructionは「LLMのための日本語インストラクションデータ」を人力作成したという話で現時点で約1万件。論文時点ではその半分まで準備できていて、件数変えてどういう寄与が見込めるかを下流タスクとしてRakudaで検証してみてるらしい。 継続事前学習は（コーパスに依存すると思うけど）、一旦性能低下した後で徐々にかいく付していく傾向がある模様。ヒトが新しい分野について学ぶような状況の学習曲線みたいなものに似てたりするのかな。別発表でもファインチューニングで …

続きを読む

2日目、一般セッションは今日から開始。お昼はキッチンカーが複数来てくれててお手軽。 屋比久さん（C1-5）と當間（B1-3）が同じ時間帯での発表になるため、双方独立発表することに。こんなこともあるよね。自分発表無いならセッション途中で抜けることもあるけど、今回は「がんばれ！」と応援するだけに留めました。 私は狩俣先生等との共同研究（日琉翻訳モデル構築）開始に向けた事前準備的な発表をしてきました。前後の発表で用いているコーパス規模と数桁違う（私のは訳200件）こともあり激烈にスコアが低いんですが、それも込みでこれからやるに向けての問題洗い出しをしているという発表をしてきました。私自身懸念している「教育用途ならゴールが翻訳でいいのか問 …

続きを読む

午前はNL研の続きがあったけども見送って、NLP2024に参加してきました。 基本的には参加人数考えるとびっくりするぐらいスムーズな運営になっていて驚きました。参加証は事前受付（郵送済み）で当日受付なしに割り切ってたり、スポンサー、会場、イベント、現地情報様々なチャンネルがSlackで事前用意済みで発表中もそこで空中戦。X（旧Twitter）いらねーという感じも悪くない。 どこまでマニュアル化してるのかしながら進めてるのかわからないけど、凄いな。 ただし会場のチョイスの問題だと思うけど電源補給口不足なのが気がかり。 どこかの大学でやるとそのあたりもクリアしやすかったんじゃないかと思うけど、昨日のIPSJ NL研も今日のNLPもどち …

続きを読む

IPSJ NLな研究会1日目。予想以上に応募あったらしく1日予定が2日になり、1日目も19:20までプログラムがあるという長丁場な発表会で既にお疲れモード。いや、9:55開始なところを1時間繰り上げたら良いじゃんとは思うけど、ラッシュ時間避ける方を優先したのかな。といっても日曜日だしな、時間設定が謎だ。と思ってたら、会場都合で9時オープンな場所だったらしい。 船迫さん発表は、座長以外から質問・コメント貰いまくりで大盛況。 センシティブだから扱いにくいよねという話が多かったけど、実際そうなんだよな。 それはそうとして、関西での発表で笑いを取ったというのは「偉業を成し遂げた」といえるぐらいの実績達成なんじゃなかろうか。（他に笑いが出たの …

続きを読む

研究室恒例の「卒業生（修了生）による新配属生向けミニワークショップ」を開催してもらいました。 2022年度 2019年度 基本的には卒業生等に一任していたのですが、今年は微妙に依頼し忘れてたので全体調整を私がやりつつ、別途當間案も盛り込みました。といっても盛り込んだのは案だけで、実際にやったのは学生です。 今回のプログラムはこんな感じ。 セッション1（約2時間） 学科サーバー上でBARTファインチューニングをしてみる 君も大学院生にならないか 4年次のスケジュールとか紹介 Notionノート術：謎のテンプレート「タグライブラリー」について テーマ決定までの流れ+おまけ PyTorchとPytorchLightningの比較 セッショ …

続きを読む