とある共同研究に向けた異分野交流的な勉強会に参加してきました。どこまで身のある成果を出せるかは不透明だけども、個人的に興味あるし、学生の卒論・修論テーマとしても設計しやすいサブタスクありそうなので、研究費獲得できるかどうかを問わず続けたいなと思ってます。今のところ学生側の反応薄くて私だけでやってるんですが。 一発目の進捗を言語処理学会第30回年次大会(NLP2024)で発表する予定なので、そのあたりに具体的な紹介記事を書く予定。 昨日募金してきました！（既に広がってるだろうけどもっと広がれ） https://t.co/dZVTqW4gJ2 — Naruaki TOMA 温泉旅行... (@naltoma) January …

続きを読む

1　|￣￣￣￣￣￣￣￣￣￣￣￣| 2 |　ゆっくりしていってね　| 3 |＿＿＿＿＿＿＿＿＿＿＿＿| 4 ∧∧ || 5 (｡•ㅅ•)|| 6 /　づΦ めりくり☆ この記事は琉球大学知能情報アドベントカレンダー Advent Calendar 2023の記事です。業務時間ではなく休みとってやりました（誰かに向けた言い訳）。久しぶりに集中してやっただけあって腰痛くなりました（老化）。そんなこんなで書いた記事というか実行結果が以下です。 記事本体：LLMモデルを軽量化してみる（確率分布を教師データとして学ばせる） やり終えてから気づいたのですが、もう少し識別難しそうなカテゴリ選んだ方が面白かったかも。今回のはモデル蒸留しなくても実は簡 …

続きを読む

2022年6月の健康診断結果はかなり悪く、初めて二次検診の案内を受ける羽目に。当時はいろいろあって受診前の半年ぐらいはそうとう食生活が乱れていました。毎日何かしらスイーツ食べてたし、何なら週末は「お昼に外食して、おやつにドーナツ2個食べて更にパフェる。夕飯も普通に食べる」ぐらいにはおかしかった。。これは極端な日の例だけど、いずれにしても食べる量が明らかにオーバーなのを半年ぐらい続けた結果が二次検診。 美味しいものは美味しく食べたいしということで、それ以来ちょっと真面目に生活正そうということで、まずは1ヶ月間のスイーツ断食＋週一ウォーキング。その後は週1回スイーツ許可して週一ウォーキング。2〜3ヶ月後ぐらいから少しずつジョギングも導 …

続きを読む

LLMと知識グラフの活用のためのワークショップに参加してきました。 以下ちょっと長い前置き。 それなりに情報が膨大なWikipediaをベースに、階層構造、リンク情報、表などのページ内情報利用することで関係性を含む情報（ナレッジグラフ）を自動生成する試みが多数行われています。 例えば、琉球大学 は 大学 の 一つ（一例） です。この3つの情報のうち「琉球大学」や「大学」をエンティティと呼び、それらがどのような関係にあるのかを示している「一つ（一例）」をリレーションと呼びます。これらをうまく紐づけていくことでリッチな情報源とするのがナレッジグラフの考え方です。 ナレッジグラフをどう使うかというと例えば知識グラフを利用した質問応 …

続きを読む

先週末〜月曜にかけて実家イベントで帰省してました。色んな事情が重なってリビング近くの部屋で雑魚寝することになりました（フラグ）。 ところで実家では犬を飼い続けてて。今いるコロが3代目。親子とか関係なく、1匹目（黒）、2匹目（モカ）は親戚からの貰い物で3代目は里親マッチングだったんじゃないかな。ペットが居ることで苦労してる部分少なくないはずなんだけどそれ以上に家族として過ごすメンバが増えることを楽しんでる面はあるけどもそれ以上に2匹目以降は「寂しすぎて死ぬ」みたいな感じ。 ということでモカがいるわけですがこいつが異常なレベルで構ってちゃん。引っ切り無しに誰かに構って攻撃して回ります。それも普段なら気にしない（ある程度遊んでやったら無視 …

続きを読む

元々は京大イベントでそれを真似ようぜという企画らしい。実際に共同研究なりの話につながるかは置いといて、私自身含めて学生らの視野広げることを主目的としてゼミ代わりに参加してきました。 ネタバレ禁止らしいので具体的な話は書けず。学部問わず面白い話が散らばっていたのは良かった。ポスターなんだけど一般的な学会におけるポスターセッションとは違い、【３つのお題に対する回答とキーワード】として掲示されてるので1件あたりのボリュームはとても少ないです。が、異分野交流きっかけ作りならこのぐらい割り切った方が話しやすそうにも感じました。 掲示スペースがとても狭かったのは残念。少人数で雑談しながらやるというのも難しいぐらい。設置場所的には軽い雑談してOK …

続きを読む

先週お試しでやった20分ペアプロの後で体調悪くなった学生が2名。希望を確認すると一人でやりたい学生が6名、ペアでやりたい学生が52名、残りはどちらでも良いという具合。ひとまずペアプロ中止にする必要はなさそうという判断で、今日は1時間弱やりたいようにやってもらいました。来週からは暫くペアプロ時間取れなさそうでもあるけども、今回の結果どうなるかを来週も確認するようにしよう。 プログラミング1だけ今回から一部をオンデマンド動画で用意するようにしています。今のところ学生にも好評のようで、その動画部分について相談するケースもちらほら出てきている模様。一方でやっぱり手を抜いちゃう学生もいるっぽい。が、これは授業だけでやってたとしても同じなんだよ …

続きを読む

1年次の授業「プログラミング1」で、久しぶりにペア・プログラミングをやってみました。交流関係作って欲しいのも兼ねてまずは1つの画面でやることに慣れるところから。割とノリよく取り組んでくれてました。 がっつり換気しつつ20分弱で終了したけど、これでCovid-19 or インフルエンザが続発するようなら、取りやめかな。 コロナ禍でオンライン主体だったときは、Zoomの breakout rooms で5人でモブプロとしてやってみてました。これはこれでうまくいくグループはにぎやかにやってるし、そうでないグループはテコ入れでTA・教員入っても「その瞬間」だけ進むけど、抜けるとすぐ元に戻る（個別にやるってるか、やらない）のが少なくなかったの …

続きを読む

ChatGPTに代表されるLLMな話。 個人的には Transformer ベースのモデルが出始めた後（e.g., A Survey of Large Language Models）からLLM 戦国時代。GPT-3.5ベースと言われるChatGPTですらとてつもなく流暢に文章生成できるようになったのは良いとして、何故ここまで色んな応答を自然にこなせるようになったのかは良く分からず。 ここまで大規模になるとモデルの動作を観察すること自体難しいので、fMRIのように特定タスクに反応するエリアを特定するみたいなレベルからやらざるを得ないのでしょうね。ということでGWあたりに少しやってみよう〜とか思ってたのですが、既にやり始めてる人はいる …

続きを読む

どこか一部を強化したい訳じゃないので、単に運動するにしてもあちこち動かすことを意識して見るテスト。 例によって週1ウォーキングを継続中。先週から少しジョギングを含めてるのは良いとして、前回はあまり踵を使わず足裏中央からつま先付近に重心を取る形で実行することで、ふくらはぎへの負荷を強めに。今回は逆に踵付近に重心取ることで他への負荷を強めに。結果的にはお尻から腰にかけて少し筋肉が張ってるかな。膝への負担も強かったかなと想像してたけどそっちは今の所問題ない範疇に収まってるらしい。

続きを読む