LLMモデルを軽量化してみた！

1　 |￣￣￣￣￣￣￣￣￣￣￣￣|
2 　|　ゆっくりしていってね　|
3 　|＿＿＿＿＿＿＿＿＿＿＿＿|
4 　　 　 ∧∧   ||
5 　　　 (｡•ㅅ•)||
6 　　　 /　 　づΦ

めりくり☆

この記事は琉球大学知能情報アドベントカレンダー Advent Calendar 2023の記事です。業務時間ではなく休みとってやりました（誰かに向けた言い訳）。久しぶりに集中してやっただけあって腰痛くなりました（老化）。そんなこんなで書いた記事というか実行結果が以下です。

• 記事本体：LLMモデルを軽量化してみる（確率分布を教師データとして学ばせる）

やり終えてから気づいたのですが、もう少し識別難しそうなカテゴリ選んだ方が面白かったかも。今回のはモデル蒸留しなくても実は簡単に精度高くなりそうだし。興味のある人はやってみてください。

以下、おまけ。過去に書いた記事を適当にピックアップ。

• 教科書・参考書は自分で使うもの
• 研究はストーリーを大事に
• (不定期コラム) 地図が無ければ描けば良いじゃない（サーベイ）
• カリキュラム外の時間をどう過ごすか
• [勉強勉強会]本当にいい結果を出す勉強法について考える会 @naltoma 編
• 子供科学人材育成事業・サイエンスリーダー育成講座（AIの先生になろう！） day1
• ドナウ川を挟んでブダ＋ペスト->ブダペスト
• ベンチマークさんに追いついた（第1回ビッグデータ分析コンテスト）
• 四十にして惑わず
• 沖縄ではクリスマスに豚の丸焼きを食べるらしい
• 東北関東大震災とソーシャル・メディア（ショートバージョン）

来年はもうちょっとブログ書くようにするか。