台風24号さんもお疲れ様でした！（沖縄周回中に消えそう） 自然言語処理(LLM) E-046 日本語キャッチコピー評価のための LLM as a Judge の検証 キャッチコピーは何を伝えるか、どう伝えるかに分けられる。質の高い「どう伝えるか」は難しい。 問い：プロの評価基準を言語化すれば、LLMは人間の判断を再現できるか？ プロのコピーライター5名への調査に基づくJudge評価基準構築。汎化限界とモデル選択関する知見を得た。過去の作品に対して評価し、理由を述べて貰う形のインタビュー。3名の完全一致は僅か28%。正解ラベルの統一は困難。今回は一致度の高い正解ラベルを優先抽出してGold Standard Datasetとし …

続きを読む

台風24号さんがおかしなことになってる2日目。今日は教育応用系のセッションに入り浸り。 9月3日（木） 4q会場, 教育AI・プログラミング・分析 K-008: VRゲームからプログラミング未経験者の計算論的思考能力の推定 計算論的思考能力(CT)を最終アウトプットから測るのではなく、VRログからどの瞬間にCT発揮したかを抽出したいという話。VRログにしてるのはプログラミング能力と独立した形でCTを評価したいから。HMMで時系列行動ログから潜在的な行動状態を推定。特徴量を解釈し、状態遷移系列と課題進捗の関係を分析。 感想: CT発揮と言えるかは「？」。生理指標含めた複合評価が必要そう。分析アプローチとしては面白い。 K-009: 実 …

続きを読む

情報科学技術フォーラム（通称FIT）が始まりました。オンライン参加で気になった発表をこんな感じで残すようにしてるんですが、大きなイベントになるほど並列度が凄いことになってるので実際に目にしているごく僅かなんだよな。ま、原稿集も後で見よう。 RAG関係 CF-002: 思考分解型AIマルチエージェントによる技術継承プラットフォーム構築手法 ― 判断工程分解に基づく階層型エージェント協調方式 ― 人の思考過程を細分化（著者自身の思考過程をトレースして整理）し、3階層エージェントとして設計。各種資料をHBAE方式（？）でデータベース化。HBAE方式は「HBAE（Hybrid Bifurcation／Adiabatic／Ergodic：分 …

続きを読む

サーバ側の更新入ったようなので動作確認〜。

続きを読む

GW前あたりからNN（MLP）とTransfomrerの中身を追いかけながら理解を深める演習兼シミュレータを作成してました。どちらもブラウザ単体で動作します。 NN Anatomy — ニューラルネットの中身を 1 ノード単位で見る GUI シミュレータ GitHub (NN Anatomy): [ リポジトリ | Pages ] forward, backward, updateの一連の流れを追体験できるシミュレータ。ノードやエッジをクリックすると、(1)数式（一般定式化）確認 → (2)指定箇所（ノードorエッジ）における計算式→ (3)実際の数値を用いた演算をそれぞれ確認できます。Lesson1〜8として具体的な演習に解説も加 …

続きを読む

概要 サンエーさんの実データに対するデータ分析を Big Query の会話型分析（conversational analytics） でやってみようという会。自由に分析というだけだと短時間のハンズオンに向いていないので、例題提供＋グループ毎にテーマ設定し、最後はテーマ単位でまとめて発表するという流れ。実際の演習時間は大凡1時間で、短時間アイデアソンに近い。それでも対話ベースで進むためそれなりの分析、仮説検証して提案叩き台出すみたいなことは全グループで来ちゃうという時代。 サンエー x Google あれこれ内製してるだけではなく、Workspace利用しつつ非エンジニアも含めたアイデアソンみたいなことを良くやってるらし …

続きを読む

2026年度入学生の年次指導担当ということで入学式イベント（保護者懇談会、学生オリエンテーション）であれこれしてました。とはいえ、以前担当したとき（e20,e13）はインストール大会以外全部年次指導で準備してたのに対し、今回は履修指導も小林さん主導の先輩学生さん中心にやって貰えたのでとても助かりました！　一度に説明しても忘れてるだろうということを踏まえたフォローアップ（翌日に教科書や履修登録全体像の説明流してくれた）までしてくれて至れり尽くせり。 今回の新入生は64名。留学生いるのも前回同様。 授業開始の1日目に履修指導やってくれてる授業工学基礎演習があるお陰で、履修状況怪しい学生への指導を早い段階でやって貰えてたらしい。ありがとう …

続きを読む

仕様を先に校正して貰う仕様駆動開発ベースで続けてたやつの後日談。まだ当初の目的はクリアしてないのだけど、一つ大きな山を乗り越えつつあるぐらいにはなってきました。 現時点で10万行ぐらい。ただしこれにはかなり無駄なコードが多く、その多くは雑感1で書いた「ハードコーディング」「場当たり的処理」でスパゲッティコードになっています。同じ処理を際実装し直すのもかなり多い。必要なデータ取得できなかった場合のフォールバック処理書いてくることも多く、あれこれ組み合わさった結果として何が悪さしてるのか分からん状態に。自動編集許可しまくりでどこまでいけるか試してみたんだけど、ダメダメな結果に。指示不足も合ったと思うけども。 そんなこんなでここ数週間は延 …

続きを読む

そろそろ前期終了ということであちこち期末試験モードになってきてるかな。今日は機械学習使ってみよう〜な実験、データマイニング班の成果報告会が終わりました。 最初の数週間は中身の勉強で、実際に行列演算ベース（最小二乗法）で線形回帰モデルを作るところから入り、古典的機械学習（深層学習以前の機械学習）での特徴量設計、次元の呪いあたりの話をやった後はグループに分かれての演習。要求していることは「最低一度は機械学習を実行した結果を得て、失敗要因分析すること」。 去年までは単に「実行した結果を報告しろ」ぐらいに留めてたのだけど、本当にそれ以上のことをしないグループがでてくる（労力最小化する視点では正しい戦略）ので条件を増やしました。その甲斐あって …

続きを読む

まだ仕様を先に校正して貰う仕様駆動開発を続けてて、現在約4.7万行。そろそろ当初目指してた仮ゴールが見えてきました。 仕様校正して貰うのが良さげなのは分かったんですが、メンタル的にはヒアリングして貰う方が良いかも。 シミュレータに機能あれこれ追加してますが、苦労した部分は大きく分けて2点。 (1) GUI実装。 先日書いたように、勝手に環境変更しようとして勝手にドツボにハマったり、GUI描画を要求してるのにターミナル出力でお茶を濁してきたりすることがどうしても抜けきらない。 (2) やたらと同じ処理を繰り返そうとする。 例えば、、 1メインループ 2 if step % 100 == 0: 3 # このタイミングでログ集計。 4 # …

続きを読む