1　|￣￣￣￣￣￣￣￣￣￣￣￣| 2 |　ゆっくりしていってね　| 3 |＿＿＿＿＿＿＿＿＿＿＿＿| 4 ∧∧ || 5 (｡•ㅅ•)|| 6 /　づΦ アドベントカレンダーとは？ この記事は琉球大学(知能情報)アドベントカレンダー Advent Calendar 2024の記事です。アドベントカレンダーとは、 アドベントカレンダー (Advent calendar) は、クリスマスまでの期間に日数を数えるために使用されるカレンダーである。待降節の期間（アドベント、イエス・キリストの降誕を待ち望む期間）に窓を毎日ひとつずつ開けていくカレンダーである。すべての窓を開け終わると迎えたことになる。 by Wikipedia:アドベントカレ …

続きを読む

かなり悔しい気持ちがあるので戒めを兼ねてのブログ書き。 Sakana AIで取り組んできたことを発表できました！密かに一部で流行りつつある基盤モデル界の黒魔術「モデルマージ」を、進化的計算によって自動化＆高度化しました。「日本語LLM + 英語VLM → 日本語VLM」のような、今まで見たことのないマージも成功しています。見てね！https://t.co/X0gUZfna6u — Takuya Akiba (@iwiwi) March 21, 2024 sakana.di: 進化的アルゴリズムによる基盤モデルの構築という発表が流れてました。 遺伝的アルゴリズム (Genetic Algorithm; GA) や進化的アル …

続きを読む

1　|￣￣￣￣￣￣￣￣￣￣￣￣| 2 |　ゆっくりしていってね　| 3 |＿＿＿＿＿＿＿＿＿＿＿＿| 4 ∧∧ || 5 (｡•ㅅ•)|| 6 /　づΦ めりくり☆ この記事は琉球大学知能情報アドベントカレンダー Advent Calendar 2023の記事です。業務時間ではなく休みとってやりました（誰かに向けた言い訳）。久しぶりに集中してやっただけあって腰痛くなりました（老化）。そんなこんなで書いた記事というか実行結果が以下です。 記事本体：LLMモデルを軽量化してみる（確率分布を教師データとして学ばせる） やり終えてから気づいたのですが、もう少し識別難しそうなカテゴリ選んだ方が面白かったかも。今回のはモデル蒸留しなくても実は簡 …

続きを読む

LLMと知識グラフの活用のためのワークショップに参加してきました。 以下ちょっと長い前置き。 それなりに情報が膨大なWikipediaをベースに、階層構造、リンク情報、表などのページ内情報利用することで関係性を含む情報（ナレッジグラフ）を自動生成する試みが多数行われています。 例えば、琉球大学 は 大学 の 一つ（一例） です。この3つの情報のうち「琉球大学」や「大学」をエンティティと呼び、それらがどのような関係にあるのかを示している「一つ（一例）」をリレーションと呼びます。これらをうまく紐づけていくことでリッチな情報源とするのがナレッジグラフの考え方です。 ナレッジグラフをどう使うかというと例えば知識グラフを利用した質問応 …

続きを読む

ChatGPTに代表されるLLMな話。 個人的には Transformer ベースのモデルが出始めた後（e.g., A Survey of Large Language Models）からLLM 戦国時代。GPT-3.5ベースと言われるChatGPTですらとてつもなく流暢に文章生成できるようになったのは良いとして、何故ここまで色んな応答を自然にこなせるようになったのかは良く分からず。 ここまで大規模になるとモデルの動作を観察すること自体難しいので、fMRIのように特定タスクに反応するエリアを特定するみたいなレベルからやらざるを得ないのでしょうね。ということでGWあたりに少しやってみよう〜とか思ってたのですが、既にやり始めてる人はいる …

続きを読む

禁煙したいとか到達したい目標があるけれども何かしらの要因で躓いてしまうというクライエントに対し、クライエントの中から動機づけを呼び覚まし、自ら行動を変えることを促進するようなカウンセリング方法を「動機づけ面接（Motivational Interviewing）」と呼ぶらしい。 このとき、カウンセラーのアプローチがどれだけ良いのか（悪いのか）を評価する指標がいろいろあるけど、代表的なものとしてMotivational Interviewing Treatment Integrity Code（MITI）というのがあるらしい。 基本的なやり方は、カウンセリング中の任意の20分間を切り出し（録音）、それを評価者が聞きながら、ある一定の基 …

続きを読む

ナレッジグラフ推論チャレンジというのが開催されるらしいです。AI技術と書かれてますが、個人的には自動処理させてる手続き全般かな。検索エンジンでの検索結果についてもそうだし。いろいろ「理由」を説明させたいです。正しいかどうかというよりは「それなりに納得の行く理由」で良いから。 開催予告のPDFによると、「シャーロック・ホームズ」シリーズの1,2話分をナレッジグラフ記述に落とし込む。そこには偽証等も含まれている。そこから犯人特定してみようみたいな話らしい。 問題設定としては面白いと思うけど、ストーリーとして練られてるのを対象としてる点がやや気がかりかな。練られているからこそ「ストーリーのタイプ」とか、「誤誘導させるパターン」とか、そうい …

続きを読む

機械学習なお話。 物体認識周りだと、 「入力された画像に写り込んでいる物体は何か」をカテゴリ識別問題として設定したりする。だけど普通は写真には複数物体が写ってることが自然だよねということで、画像を小さなエリアに分割してエリア毎にカテゴリ識別したり、領域抽出自体も自動化したりといったことがやられています。 メディアとしては全く違うのだけれども、「文章」に対してもそういうことやりたいな、と。例えば、この記事は、記事全体としてはハウツーとか教育・勉強法・プログラミングあたりのカテゴリに分類してくれて良いです。だけどそれだけじゃなくて、より詳細に 「ちゃんと聞いてる学生もいる一方で、解説中に寝る学生も増えてきた気がする」という部分が学生に対 …

続きを読む

「明治大学の中村先生と共同研究に繋げられたら良いな会議」を数年前から不定期開催してます。面白いテーマばかりなんですが、いまいち学生が乗り気にならないのは何故なんだろう。自分でやりたいテーマがあってそっちに注力したいってことなら分からなくもないけど、多くはテーマ決めきれてないはずなんだよな。 中心的なテーマは「個性・個人差」といったあたりかしら。例えば平均手書き文字・図形といった切り口から「人の頭のなかの文字や図形はどうなっているのか」に取り組んでる事例をあれこれ紹介いただきました。字の練習になる（実際うまくなるケースがある）というのは想像外です。手に対する物理的なインタラクションがあるわけではなく、自身が書いた文字へ赤ペンする訳でも …

続きを読む

「○コムしてますか？」な話ですが、IoTとDeep Learningで自宅警備員を育ててみるなんてことをやってみてるらしい。「多くを求めすぎない」「人見知りするので、他人とのコミュニケーションは諦める」なるほど。試しにやってみたら通知が多いのでそこの調整だとか、やっぱりやってみないと分からないというのはどこでもそうだよね。 深層学習繋がりで変わったところだと大脳皮質と deep learning の類似点と相違点を整理してる先生もいたり。画像認識・音声認識・意思決定・運動制御、、、等の高次な機能を実現してる大脳皮質は、どの領野でもほぼ同じ6層構造になってるとか、面白い。物理的に配置するとCNNみたいな制約もあるだろうし。強化学習 …

続きを読む