Japanese
  • DeepSeek-R1論文読んだ印象

    Feb 3, 2025 日記 研究

    微妙に時系列悩んだけど DeepSeek LLM => R1-Zero => R1 という流れなのかな。最初に公式ページから見つけたリポジトリが DeepSeek LLM の方で、そっちの論文は古かったんだよな。以下は DeepSeek-R1 についての雑感メモ。 ステップ 目的 手法 結果 Step 1: 事前学習 言語知識を獲得 大規模コーパスで学習 言語理解は可能だが推論能力は未熟 Step 2: Cold Start SFT 回答フォーマットと可読性の向上 高品質な少量データでSFT RLの初期学習がスムーズに進む Step 3: GRPO 推論能力を強化 強化学習(RL)+ 報酬関数 数学・論理推論・コーディン …

    続きを読む
  • Pythonコードを書かずにLLMをファインチューニングする(LLaMA-Factory チュートリアル)

    Dec 1, 2024 日記 研究

    1 | ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄| 2 | ゆっくりしていってね | 3 |____________| 4 ∧∧ || 5 (。•ㅅ•)|| 6 / づΦ アドベントカレンダーとは? この記事は琉球大学(知能情報)アドベントカレンダー Advent Calendar 2024の記事です。アドベントカレンダーとは、 アドベントカレンダー (Advent calendar) は、クリスマスまでの期間に日数を数えるために使用されるカレンダーである。待降節の期間(アドベント、イエス・キリストの降誕を待ち望む期間)に窓を毎日ひとつずつ開けていくカレンダーである。すべての窓を開け終わると迎えたことになる。 by Wikipedia:アドベントカレ …

    続きを読む
  • LLM x GA

    Mar 21, 2024 日記 研究

    かなり悔しい気持ちがあるので戒めを兼ねてのブログ書き。 Sakana AIで取り組んできたことを発表できました!密かに一部で流行りつつある基盤モデル界の黒魔術「モデルマージ」を、進化的計算によって自動化&高度化しました。「日本語LLM + 英語VLM → 日本語VLM」のような、今まで見たことのないマージも成功しています。見てね!https://t.co/X0gUZfna6u — Takuya Akiba (@iwiwi) March 21, 2024 sakana.di: 進化的アルゴリズムによる基盤モデルの構築という発表が流れてました。 遺伝的アルゴリズム (Genetic Algorithm; GA) や進化的アル …

    続きを読む
  • LLMモデルを軽量化してみた!

    Dec 24, 2023 日記 研究

    1 | ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄| 2 | ゆっくりしていってね | 3 |____________| 4 ∧∧ || 5 (。•ㅅ•)|| 6 / づΦ めりくり☆ この記事は琉球大学知能情報アドベントカレンダー Advent Calendar 2023の記事です。業務時間ではなく休みとってやりました(誰かに向けた言い訳)。久しぶりに集中してやっただけあって腰痛くなりました(老化)。そんなこんなで書いた記事というか実行結果が以下です。 記事本体:LLMモデルを軽量化してみる(確率分布を教師データとして学ばせる) やり終えてから気づいたのですが、もう少し識別難しそうなカテゴリ選んだ方が面白かったかも。今回のはモデル蒸留しなくても実は簡 …

    続きを読む
  • 森羅プロジェクト x LLM

    Jul 21, 2023 日記 研究 イベントレポート

    LLMと知識グラフの活用のためのワークショップに参加してきました。 以下ちょっと長い前置き。 それなりに情報が膨大なWikipediaをベースに、階層構造、リンク情報、表などのページ内情報利用することで関係性を含む情報(ナレッジグラフ)を自動生成する試みが多数行われています。 例えば、琉球大学 は 大学 の 一つ(一例) です。この3つの情報のうち「琉球大学」や「大学」をエンティティと呼び、それらがどのような関係にあるのかを示している「一つ(一例)」をリレーションと呼びます。これらをうまく紐づけていくことでリッチな情報源とするのがナレッジグラフの考え方です。 ナレッジグラフをどう使うかというと例えば知識グラフを利用した質問応 …

    続きを読む
  • ヒトはそもそもどう理解してどう行動しているのか

    Apr 28, 2023 日記 研究

    ChatGPTに代表されるLLMな話。 個人的には Transformer ベースのモデルが出始めた後(e.g., A Survey of Large Language Models)からLLM 戦国時代。GPT-3.5ベースと言われるChatGPTですらとてつもなく流暢に文章生成できるようになったのは良いとして、何故ここまで色んな応答を自然にこなせるようになったのかは良く分からず。 ここまで大規模になるとモデルの動作を観察すること自体難しいので、fMRIのように特定タスクに反応するエリアを特定するみたいなレベルからやらざるを得ないのでしょうね。ということでGWあたりに少しやってみよう〜とか思ってたのですが、既にやり始めてる人はいる …

    続きを読む
  • 動機づけ面接

    Apr 2, 2020 日記 研究

    禁煙したいとか到達したい目標があるけれども何かしらの要因で躓いてしまうというクライエントに対し、クライエントの中から動機づけを呼び覚まし、自ら行動を変えることを促進するようなカウンセリング方法を「動機づけ面接(Motivational Interviewing)」と呼ぶらしい。 このとき、カウンセラーのアプローチがどれだけ良いのか(悪いのか)を評価する指標がいろいろあるけど、代表的なものとしてMotivational Interviewing Treatment Integrity Code(MITI)というのがあるらしい。 基本的なやり方は、カウンセリング中の任意の20分間を切り出し(録音)、それを評価者が聞きながら、ある一定の基 …

    続きを読む
  • 機械に「それなりに納得の行く理由」を説明させたい

    Jun 6, 2018 日記 研究

    ナレッジグラフ推論チャレンジというのが開催されるらしいです。AI技術と書かれてますが、個人的には自動処理させてる手続き全般かな。検索エンジンでの検索結果についてもそうだし。いろいろ「理由」を説明させたいです。正しいかどうかというよりは「それなりに納得の行く理由」で良いから。 開催予告のPDFによると、「シャーロック・ホームズ」シリーズの1,2話分をナレッジグラフ記述に落とし込む。そこには偽証等も含まれている。そこから犯人特定してみようみたいな話らしい。 問題設定としては面白いと思うけど、ストーリーとして練られてるのを対象としてる点がやや気がかりかな。練られているからこそ「ストーリーのタイプ」とか、「誤誘導させるパターン」とか、そうい …

    続きを読む
  • かゆいところに手が届かない(物体認識 vs 言語処理)

    Jul 7, 2017 日記 研究

    機械学習なお話。 物体認識周りだと、 「入力された画像に写り込んでいる物体は何か」をカテゴリ識別問題として設定したりする。だけど普通は写真には複数物体が写ってることが自然だよねということで、画像を小さなエリアに分割してエリア毎にカテゴリ識別したり、領域抽出自体も自動化したりといったことがやられています。 メディアとしては全く違うのだけれども、「文章」に対してもそういうことやりたいな、と。例えば、この記事は、記事全体としてはハウツーとか教育・勉強法・プログラミングあたりのカテゴリに分類してくれて良いです。だけどそれだけじゃなくて、より詳細に 「ちゃんと聞いてる学生もいる一方で、解説中に寝る学生も増えてきた気がする」という部分が学生に対 …

    続きを読む
  • あれこれ打ちあわせ(中村先生、子供科学人材育成事業)

    May 15, 2017 日記 研究

    「明治大学の中村先生と共同研究に繋げられたら良いな会議」を数年前から不定期開催してます。面白いテーマばかりなんですが、いまいち学生が乗り気にならないのは何故なんだろう。自分でやりたいテーマがあってそっちに注力したいってことなら分からなくもないけど、多くはテーマ決めきれてないはずなんだよな。 中心的なテーマは「個性・個人差」といったあたりかしら。例えば平均手書き文字・図形といった切り口から「人の頭のなかの文字や図形はどうなっているのか」に取り組んでる事例をあれこれ紹介いただきました。字の練習になる(実際うまくなるケースがある)というのは想像外です。手に対する物理的なインタラクションがあるわけではなく、自身が書いた文字へ赤ペンする訳でも …

    続きを読む
    • ««
    • «
    • 1
    • 2
    • 3
    • 4
    • 5
    • »
    • »»

tnal

Technologist, perpetual student, teacher, continual incremental improvement.
続きを読む

Recent Posts

  • Claude code(Sonnet 4)雑感5:仕様駆動開発で4万行越え
  • Claude code(Sonnet 4)雑感4:環境依存度が高いと混乱しがち?
  • Claude code(Sonnet 4)雑感3:仕様駆動開発
  • Claude code(Sonnet 4)雑感2
  • Claude Proお試し中
  • ChatGPTのアプリ連携お試し中→そろそろ限界
  • ChatGPTのアプリ連携お試し中
  • (イベント記録)Jagu'e'r 沖縄分科会 GoogleCloudハンズオン #じゃがー沖縄

Tags

日記 1776 NAL研議事録 286 イベントレポート 260 講義/実験 201 教育 138 お食事 119 休日 116 学会 89 データマイニング班 80 プログラミング1 75 研究 74 複雑研 60 E13 58 デザインスクール 50
All Tags
E1358 NAL研3 NAL研議事録286 イベント1 イベントレポート260 イベント告知22 データマイニング(授業)1 データマイニング班80 お食事119 クイズ40 コラム記事35 ススメ41 デザインスクール50 プログラミング19 プログラミング175 プログラミング219 学会89 環境構築30 休日116 教育138 健康23 研究74 講義/実験201 実験1 授業5 進化計算班議事録15 体調メモ31 日記1776 複雑研60 本1 本家サイト更新履歴22 妄想8
[A~Z][0~9]

Copyright © 2025 NAL’S BLOG @ 琉球大学工学部知能情報コース. All Rights Reserved