Japanese
  • DeepSeek-R1論文読んだ印象

    Feb 3, 2025 日記 研究

    微妙に時系列悩んだけど DeepSeek LLM => R1-Zero => R1 という流れなのかな。最初に公式ページから見つけたリポジトリが DeepSeek LLM の方で、そっちの論文は古かったんだよな。以下は DeepSeek-R1 についての雑感メモ。 ステップ 目的 手法 結果 Step 1: 事前学習 言語知識を獲得 大規模コーパスで学習 言語理解は可能だが推論能力は未熟 Step 2: Cold Start SFT 回答フォーマットと可読性の向上 高品質な少量データでSFT RLの初期学習がスムーズに進む Step 3: GRPO 推論能力を強化 強化学習(RL)+ 報酬関数 数学・論理推論・コーディン …

    続きを読む
  • 追い込み時期

    Jan 10, 2025 日記 NAL研議事録

    年明け一発目のゼミが終了しました。毎年恒例行事で多くの卒論・修論生は追い込み時期ということもあって予定時間超過することが多くなる時期でもあります。インフルエンザが猛威を振るってることや冷え込む時期ということもあって体調不良で休んでいる人もいましたが、それでも予定時間をかなりオーバー。他の人の話聞かなくていいじゃんとか思ってる人いるかもしれないけど、メタ的には似たような指摘をしていることが多くて、ゼミやる意義でもあるのだよな。(似た失敗してるということは私自身の指導が毎回偏っていることの証左でもあるのだろうけど) 文脈を気にせず「誰それがこれやってるからやってみた」というやり方はダメ。 いろいろやっているのは分かるが「論文として整理し …

    続きを読む
  • 実質使い放題

    Dec 24, 2024 日記 実験

    幸いなことに知能情報コースにはTesla V100S付きのサーバが4台あるお陰で、実質的にGPU使い放題です。1台で LLM 8B ぐらいまでは辛うじて full パラメータ学習でき、13Bでも LoRA なら学習できるぐらいの環境。DeepSpeedとかで分散処理するともう少し大きなモデルまで学習できるかもしれませんが、そこは試していません。 この時期(12月)は卒論修論追い込みでもあるのでジョブ貯まりまくりかなと思ってたけれどもたまに覗く限りではスカスカ。たまに 1 job 動いてるのを見かけるぐらい。研究室の環境で十分ということかもしれないし、Google Colabの無料分で十分とか、ほんのり課金で事足りてるかもしれないし、 …

    続きを読む
  • 共通教育「情報科学演習」〜OneDriveのことは考えたくない〜

    Dec 3, 2024 日記 教育

    せっかくなので琉球大学(知能情報)アドベントカレンダー Advent Calendar 20243日目の記事だ! 授業「情報科学演習」 2022年から共通教育の授業「情報科学演習」を1クラス担当することになりました。とはいえシラバス眺めてみると「クラス毎に大分中身が違う」のだよな。大別すると以下の3点にまとめられそうだけど、殆どの授業は前者2つがメインかもしれません。 情報リテラシー Office系ソフトの演習 データサイエンス系の演習 これに対して高校では2022年4月から新しい学習指導要領が始まっているので、2025年度からは情報Iを履修した生徒が入ってきます。指導要領の解説から抜粋すると以下のようなことを掲げているらしい。 今 …

    続きを読む
  • 授業「プログラミング1」の変遷

    Dec 2, 2024 日記 教育

    琉球大学(知能情報)アドベントカレンダー Advent Calendar 2024が空いてるので2日目の記事です!! 授業「プログラミング1」の変遷 私がプログラミング1を担当し始めたのが2016年。このタイミングでPythonにしました。基本情報処理技術者試験では2020年度からPython追加されてるので、数年前からやってたことになりますね。とはいえ2023年の試験からは疑似言語に統一されているんだよな。 英語教科書指定は大分不満があっただろうなと想像します。でもこの教科書はそれなりに平易な英語で書かれてて、コース会議でも回覧して承認してもらったし、プログラミング系公式ドキュメントは殆ど英語で書かれてることを考えると最初から英語 …

    続きを読む
  • Pythonコードを書かずにLLMをファインチューニングする(LLaMA-Factory チュートリアル)

    Dec 1, 2024 日記 研究

    1 | ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄| 2 | ゆっくりしていってね | 3 |____________| 4 ∧∧ || 5 (。•ㅅ•)|| 6 / づΦ アドベントカレンダーとは? この記事は琉球大学(知能情報)アドベントカレンダー Advent Calendar 2024の記事です。アドベントカレンダーとは、 アドベントカレンダー (Advent calendar) は、クリスマスまでの期間に日数を数えるために使用されるカレンダーである。待降節の期間(アドベント、イエス・キリストの降誕を待ち望む期間)に窓を毎日ひとつずつ開けていくカレンダーである。すべての窓を開け終わると迎えたことになる。 by Wikipedia:アドベントカレ …

    続きを読む
  • (多分)コロナ罹患メモ

    May 10, 2024 日記

    水曜から体調崩してて日曜日にようやく復活傾向に。疲れてるけどすっきりしつつあります。 あれこれ代理で仕事お願いしまくった教職員、学生の皆さん、助かりましたー!! サマリ 体調不良を自覚(5/8, 昼過ぎ)後、12時間経過後からの1.5日間が最も辛かった。脳内ザッピングきつい。 それ以降は我慢できるレベル。 急に美味しいもの食べるのは危険。 2024/5/8(水) 昼過ぎ頃、体調の悪さを自覚。仮眠取ることを決めたぐらいのレベル。仮眠後は通常復帰。 夕方、寒気を感じる。37度超え。 深夜、頭痛。38.5度。これ以降ほぼ38度超え。寝れないことはないが1時間おきに目覚める感じ。 2024/5/9(木) 解熱効果もある頭痛薬あるので最悪それ …

    続きを読む
  • LLM x GA

    Mar 21, 2024 日記 研究

    かなり悔しい気持ちがあるので戒めを兼ねてのブログ書き。 Sakana AIで取り組んできたことを発表できました!密かに一部で流行りつつある基盤モデル界の黒魔術「モデルマージ」を、進化的計算によって自動化&高度化しました。「日本語LLM + 英語VLM → 日本語VLM」のような、今まで見たことのないマージも成功しています。見てね!https://t.co/X0gUZfna6u — Takuya Akiba (@iwiwi) March 21, 2024 sakana.di: 進化的アルゴリズムによる基盤モデルの構築という発表が流れてました。 遺伝的アルゴリズム (Genetic Algorithm; GA) や進化的アル …

    続きを読む
  • (NLP2024) ワークショップ

    Mar 15, 2024 日記 学会

    気になってたお店にギリギリ間に合った pic.twitter.com/riLTVHXtjA — Naruaki TOMA 温泉旅行... (@naltoma) March 15, 2024 お疲れモードなので今日はホテルからオンライン参加することに。机があるって素晴らしい。(会場はほとんど椅子のみ) NLP最終日はワークショップ: 生成AI時代の自然言語処理における産学官の役割と課題に参加してました。セッションの中身としては「それぞれ尖った部分で活躍してる人の活動紹介や問題共有」という感じで、普段聞いたことない内容が多かったという点で面白かった。 全日程を通して心に残ったことは、、 (1) 認知科学ドメインとの連携楽しそ …

    続きを読む
  • (NLP2024) 4日目

    Mar 14, 2024 日記 学会

    SABAR pic.twitter.com/K1yL5kBslX — Naruaki TOMA 温泉旅行... (@naltoma) March 14, 2024 NLP2024の主プログラム(一般発表がある日)としては今日が最終日という位置づけらしく、クロージングも有りました。すっぽかしたけど、Slack眺める限りでは優秀賞やら次年度開催予定地で盛り上がってたようです。 今日も面白い発表あったのだけど、それ以上に昨日の認知モデリングな話がこびり付いたままだとか、単に疲れだとかであまり集中できず。実際に心に残るぐらい聞けたのは最初のセッションぐらいだな、、。 BabyBERTaなるモデルがあるらしい。人間の6歳児までの間 …

    続きを読む
    • ««
    • «
    • 1
    • 2
    • 3
    • 4
    • 5
    • »
    • »»

tnal

Technologist, perpetual student, teacher, continual incremental improvement.
続きを読む

Recent Posts

  • Claude code(Sonnet 4)雑感5:仕様駆動開発で4万行越え
  • Claude code(Sonnet 4)雑感4:環境依存度が高いと混乱しがち?
  • Claude code(Sonnet 4)雑感3:仕様駆動開発
  • Claude code(Sonnet 4)雑感2
  • Claude Proお試し中
  • ChatGPTのアプリ連携お試し中→そろそろ限界
  • ChatGPTのアプリ連携お試し中
  • (イベント記録)Jagu'e'r 沖縄分科会 GoogleCloudハンズオン #じゃがー沖縄

Tags

日記 1776 NAL研議事録 286 イベントレポート 260 講義/実験 201 教育 138 お食事 119 休日 116 学会 89 データマイニング班 80 プログラミング1 75 研究 74 複雑研 60 E13 58 デザインスクール 50
All Tags
E1358 NAL研3 NAL研議事録286 イベント1 イベントレポート260 イベント告知22 データマイニング(授業)1 データマイニング班80 お食事119 クイズ40 コラム記事35 ススメ41 デザインスクール50 プログラミング19 プログラミング175 プログラミング219 学会89 環境構築30 休日116 教育138 健康23 研究74 講義/実験201 実験1 授業5 進化計算班議事録15 体調メモ31 日記1776 複雑研60 本1 本家サイト更新履歴22 妄想8
[A~Z][0~9]

Copyright © 2025 NAL’S BLOG @ 琉球大学工学部知能情報コース. All Rights Reserved