{ "nbformat": 4, "nbformat_minor": 5, "metadata": { "kernelspec": { "display_name": "Python 3", "language": "python", "name": "python3" }, "language_info": { "name": "python", "version": "3.10.0" }, "colab": { "provenance": [] } }, "cells": [ { "cell_type": "markdown", "id": "g-01", "metadata": { "id": "g-01" }, "source": [ "# 補足資料：RAGの基礎概念と今回の実装\n", "\n", "本資料は **レポート課題4** に取り組む前に読むことを推奨する補足資料です。\n", "RAGの仕組み、今回の実装で採用した設計方針、および課題中で登場する用語をまとめています。\n", "\n", "---" ] }, { "cell_type": "markdown", "id": "g-02", "metadata": { "id": "g-02" }, "source": [ "## 1. LLM の知識とその限界\n", "\n", "ChatGPT や TinyLlama などの **大規模言語モデル（LLM; Large Language Model）** は、\n", "インターネット上のテキストや書籍など膨大なデータを学習して「次のトークンを予測する」能力を獲得したモデルです。\n", "\n", "しかし LLM の知識には本質的な限界があります。\n", "\n", "| 限界 | 説明 | 例 |\n", "|------|------|----|\n", "| **学習データの範囲** | 学習に使われたデータ以外のことは知らない | 社内限定文書・非公開規程 |\n", "| **知識の鮮度** | 学習後に起きた出来事は知らない（知識カットオフ） | 今日の天気・最新ニュース |\n", "| **専門ドメイン** | 学習データに含まれない組織固有の情報は知らない | 就業規則・API仕様 |\n", "| **幻覚（Hallucination）** | 知らないことを聞かれると、もっともらしい嘘を生成することがある | 社内ルールの捏造 |\n", "\n", "例えば TinyLlama に「今日の東京の天気は？」や「我が社の残業上限は何時間ですか？」と聞いても、\n", "正確な答えは得られません。\n", "\n", "> **本課題の知識ベースは架空企業「NALTOMA AI」の社内規程文書です。**\n", "> TinyLlama はこの文書を学習していないため、RAGなしでは正しく答えられません。\n", "> これにより「RAG が検索できれば答えられる、できなければ答えられない」という\n", "> RAGの有用性を直接体験できます。" ] }, { "cell_type": "markdown", "id": "g-03", "metadata": { "id": "g-03" }, "source": [ "## 2. RAG とは何か\n", "\n", "**RAG（Retrieval-Augmented Generation；検索拡張生成）** は、\n", "LLM の限界を補うためにクエリ時に外部の情報源から関連テキストを取得し、\n", "それを LLM へのプロンプトに含めることで回答品質を高める手法です。\n", "\n", "```\n", "[ユーザーの質問]\n", " │\n", " │①埋め込みモデルに渡す\n", " ▼\n", " ┌─────────────────┐\n", " │ 埋め込みモデル │\n", " │ all-MiniLM-L6 │\n", " └────────┬────────┘\n", " │②質問をベクトル化\n", " ▼\n", " ┌─────────────┐\n", " │ ベクトルDB │③類似チャンクを検索（L2距離 Top-K）\n", " │ (FAISS) │\n", " └──────┬──────┘\n", " │④関連チャンクを返す\n", " ▼\n", " ┌──────────────────────────────────┐\n", " │ プロンプト │\n", " │ Context: [チャンク1][チャンク2] │\n", " │ Question: ユーザーの質問 │\n", " └──────────────┬───────────────────┘\n", " │⑤プロンプトを入力\n", " ▼\n", " ┌────────────┐\n", " │ 回答生成LLM │\n", " │ TinyLlama │\n", " └────┬───────┘\n", " │⑥回答を生成\n", " ▼\n", " [最終的な回答]\n", "```\n", "\n", "RAGのポイントは **「知識は外部に持ち、LLMは読解・文章生成に専念させる」** という分業です。\n", "\n", "知識を外部（情報源）から選ぶためのモデルが「埋め込みモデル」です。情報源は予めチャンクとして分割しておき、ユーザ質問との意味的類似度を測り、類似度の高いK個のチャンクを情報源として利用します。上記の例ではK=2で類似度の高かった2個のチャンクが「チャンク1」「チャンク2」でした。これら2チャンクと質問文をプロンプトとして用意し、これらを「回答生成LLM」へ入力することで最終的な回答が得られるという流れになります。" ] }, { "cell_type": "markdown", "id": "g-04", "metadata": { "id": "g-04" }, "source": [ "## 3. LLM と情報源の役割分担\n", "\n", "RAGでは 2 種類のモデルと 1 つの知識ベースが協調して動きます。\n", "\n", "### 埋め込みモデル（今回：all-MiniLM-L6-v2）\n", "\n", "テキスト（チャンクやクエリ）を **384次元の数値ベクトル** に変換します。\n", "意味的に似たテキストは似たベクトルになるように学習されているため、\n", "\"core hours\" と \"working hours\" のような意味的に近いテキストは距離が小さくなります。\n", "\n", "> **「意味的に似ている」を捉えることの難しさ**\n", ">\n", "> 埋め込みモデルは常に人間の期待通りに機能するわけではありません。次のような状況では誤検索が起きやすくなります。\n", ">\n", "> - **文章の断片問題**：チャンク分割によって「10:00 to 16:00 JST on weekdays」という情報が\n", "> 「provided they are available during core hours from...」という主語のない断片になると、\n", "> 「コアタイムは何時か」というクエリとの意味的距離が広がります。\n", "> 埋め込みモデルは**完全な文**の方が意味を安定して捉えられます。\n", ">\n", "> - **表層的なキーワードの干渉**：「remote employees」と「production deployments」は\n", "> まったく異なるトピックですが、どちらも「NALTOMA AI」「Tuesdays and Thursdays」\n", "> というキーワードを共有しています。こうした**共通単語の引力**によって\n", "> 無関係なチャンクが上位にランクされることがあります。\n", ">\n", "> - **クエリとチャンクの文体差**：クエリは疑問文、チャンクは規程文書の平叙文であり、\n", "> 同じ内容を異なる文体で表現しています。文体の違いがベクトル距離に影響することがあります。\n", ">\n", "> これらの限界は本課題の実験でも観察できます。\n", "> 「なぜそのチャンクがヒットしたのか」「なぜ正しいチャンクがヒットしなかったのか」を\n", "> 考察することが Level 2〜4 の重要なテーマです。\n", "\n", "### ベクトルDB（今回：FAISS）\n", "\n", "事前にすべてのチャンクを埋め込みベクトルに変換して保存しておきます。\n", "検索時はクエリのベクトルと各チャンクのベクトルの **L2距離** を計算し、\n", "最も近い（意味的に最も似ている）チャンクを高速に返します。\n", "\n", "### 生成モデル（今回：TinyLlama）\n", "\n", "検索されたチャンクとクエリをプロンプトとして受け取り、\n", "チャンクに書かれている内容を根拠として自然言語の回答を生成します。\n", "**TinyLlama自身は検索や事実確認を行わず、与えられたコンテキストを読んで文章を作るだけです。**\n", "\n", "| 役割 | モデル | すること |\n", "|------|--------|----------|\n", "| 意味の数値化 | all-MiniLM-L6-v2 | テキスト→ベクトル変換 |\n", "| 知識の保管・検索 | FAISS | ベクトルの保存と近傍探索 |\n", "| 回答の生成 | TinyLlama | コンテキストを読んで文章化 |\n", "\n", "> **重要：** 検索で見つかったチャンクに正解が含まれていれば正しい回答が出ますが、\n", "> 無関係なチャンクが渡されると、もっともらしい間違いを生成することがあります。\n", "> この課題ではその違いを実験で観察します。" ] }, { "cell_type": "markdown", "id": "g-05", "metadata": { "id": "g-05" }, "source": [ "## 4. 今回の実装の概要\n", "\n", "今回の課題は演習②（RAG基礎実装）の **発展版** です。\n", "演習②では各ドキュメントが最初から1件＝1チャンク相当の短文として与えられていましたが、\n", "今回は **段落テキスト（1件 400〜560 文字）を自分でチャンク分割してから** RAGパイプラインに投入します。\n", "\n", "### 知識ベースの性質\n", "\n", "今回の知識ベースは架空企業「NALTOMA AI」の社内規程文書 8 件です。\n", "\n", "| 文書ID | 内容 |\n", "|--------|------|\n", "| remote_work | リモートワーク規程（コアタイム・co-working利用等） |\n", "| expense_policy | 経費精算規程（申請期限・上限金額等） |\n", "| code_review | コードレビュー規程（承認数・カバレッジ等） |\n", "| deployment | デプロイ規程（実施曜日・変更チケット等） |\n", "| meeting_rooms | 会議室予約規程（定員・予約方法等） |\n", "| api_policy | API利用規程（レート制限・バースト上限等） |\n", "| onboarding | オンボーディング（ハードウェア・研修等） |\n", "| performance_review | 評価制度（実施時期・評価軸等） |\n", "\n", "これらは TinyLlama の学習データに含まれない架空の社内文書であるため、\n", "正しい回答を得るためには **必ず RAG による検索が必要** です。\n", "\n", "```\n", "演習②の流れ:\n", " documents（短文10件） → そのままFAISSへ → 検索 → 生成\n", "\n", "課題4の流れ:\n", " documents（社内規程8件）\n", " │\n", " ▼ split_into_chunks(chunk_size, overlap)\n", " チャンクリスト（件数はサイズ次第）\n", " │\n", " ▼ build_index（埋め込み→FAISS）\n", " ベクトルDB\n", " │\n", " ▼ retrieve（クエリのTop-K検索）\n", " 関連チャンク\n", " │\n", " ▼ rag_generate（TinyLlamaで生成）\n", " 回答\n", "```\n", "\n", "**チャンクサイズを変えると** 検索されるチャンクの内容が変わり、それが回答品質に影響します。\n", "この因果関係を実験で観察するのが本課題のテーマです。" ] }, { "cell_type": "markdown", "id": "g-06", "metadata": { "id": "g-06" }, "source": [ "## 5. なぜ文字数ベースの分割か（トークナイザーを使わない理由）\n", "\n", "実際のプロダクションRAGシステムでは、チャンク分割は **トークン数** で行うのが一般的です。\n", "LLMのコンテキストウィンドウはトークン数で制限されるため、\n", "「このチャンクは何トークン占めるか」を把握することが重要だからです。\n", "\n", "```python\n", "# トークナイザーベースの分割（本番向け）\n", "tokens = tokenizer.encode(text)\n", "chunks = [tokenizer.decode(tokens[i:i+256]) for i in range(0, len(tokens), 256)]\n", "```\n", "\n", "しかし今回は以下の理由で **文字数（単語境界）ベース** の簡易実装を採用しています：\n", "\n", "| 理由 | 説明 |\n", "|------|------|\n", "| **視覚的わかりやすさ** | 「50文字」「120文字」と直感的に理解できる |\n", "| **モデル非依存** | 埋め込みモデル・生成モデルどちらのトークナイザーも関係ない |\n", "| **実装の単純さ** | 学習目的では仕組みが透明な方が考察しやすい |\n", "| **英語テキストでの妥当性** | 英語は1単語≒5〜6文字が多く、文字数とトークン数の相関が高い |\n", "\n", "> 実運用では LangChain の `RecursiveCharacterTextSplitter`（文境界→文字数の階層的分割）や\n", "> `TokenTextSplitter`（トークナイザーベース）が広く使われています。" ] }, { "cell_type": "markdown", "id": "g-07", "metadata": { "id": "g-07" }, "source": [ "## 6. 用語解説\n", "\n", "### チャンク（Chunk）\n", "\n", "ソース文書を分割した **小さなテキスト断片** のことです。\n", "ベクトルDBに格納される最小単位であり、LLMに渡されるコンテキストの構成要素でもあります。\n", "\n", "```\n", "ソース文書（expense_policy、約510文字）:\n", " \"Business expenses must be submitted via the expense portal within 30 calendar\n", " days of purchase. Client meals are reimbursable up to 5,000 JPY...\"\n", " ↓ chunk_size=120で分割\n", "チャンク[0]: \"Business expenses must be submitted via the expense portal within 30 calendar\n", " days of purchase. Client meals are\"\n", "チャンク[1]: \"reimbursable up to 5,000 JPY per person per event. Travel by bullet train is\n", " approved for trips over 100 km;\"\n", "チャンク[2]: \"flights require prior approval from a department head. Receipts are mandatory\n", " for any expense exceeding 1,000 JPY.\"\n", " ...\n", "```\n", "\n", "### チャンクサイズ（Chunk Size）\n", "\n", "各チャンクの最大長さです。今回は **文字数（スペース込み）** で指定します。\n", "\n", "| チャンクサイズ | 特徴 |\n", "|---------------|------|\n", "| 小さい（50文字） | チャンク数が多い・1チャンクに含まれる情報が少ない |\n", "| 中程度（120文字） | バランス型 |\n", "| 大きい（250文字） | チャンク数が少ない・1チャンクに複数の規程条項が混在しやすい |" ] }, { "cell_type": "markdown", "id": "g-08", "metadata": { "id": "g-08" }, "source": [ "### 単語境界分割（Word Boundary Splitting）\n", "\n", "文字数の上限に達したとき、**単語の途中で切らずにスペースの位置で区切る** 方法です。\n", "\n", "```\n", "固定長分割（word_boundary=False）:\n", " \"...submitted via the expense por\" ← \"portal\" の途中で切断\n", " \"tal within 30 calendar days...\" ← 文頭が意味不明\n", "\n", "単語境界分割（word_boundary=True）:\n", " \"...submitted via the expense\" ← 単語の区切りで終わる\n", " \"portal within 30 calendar days...\" ← 文頭が自然\n", "```\n", "\n", "今回の実装では `word_boundary=True` をデフォルトとしています。\n", "\n", "### オーバーラップ（Overlap）\n", "\n", "隣接するチャンク間で **意図的にテキストを重複させる** 設定です。\n", "\n", "```\n", "オーバーラップなし（overlap=0）:\n", " チャンク[0]: \"A B C D E\"\n", " チャンク[1]: \"F G H I J\"\n", " チャンク[2]: \"K L M N O\"\n", "\n", "オーバーラップあり（overlap=40文字程度）:\n", " チャンク[0]: \"A B C D E\"\n", " チャンク[1]: \"D E F G H\" ← D E が前チャンクと重複\n", " チャンク[2]: \"G H I J K\" ← G H が前チャンクと重複\n", "```\n", "\n", "チャンク境界で重要な情報が分断されるリスクを下げる効果がありますが、\n", "チャンク総数が増えてストレージ・検索コストが増加します。" ] }, { "cell_type": "markdown", "id": "g-09", "metadata": { "id": "g-09" }, "source": [ "### 埋め込み（Embedding）とベクトル検索（FAISS）\n", "\n", "**埋め込み（Embedding）** とは、テキストを固定長の数値ベクトルに変換する処理です。\n", "意味的に似たテキストほど、ベクトル空間上で近くに配置されます。\n", "\n", "```python\n", "# 例：埋め込みベクトルのイメージ（実際は384次元）\n", "\"expense report deadline\" → [0.12, -0.34, 0.88, ..., 0.05] (384次元)\n", "\"submit expenses by 30 days\" → [0.14, -0.31, 0.85, ..., 0.07] ← 上と近い！\n", "\"production deployment time\" → [-0.22, 0.41, -0.13, ..., 0.63] ← 遠い\n", "```\n", "\n", "**FAISS（Facebook AI Similarity Search）** は Meta 社が開発した\n", "高速ベクトル近傍探索ライブラリです。\n", "数万件のベクトルに対しても L2 距離で瞬時に近傍を返せます。\n", "\n", "今回は `faiss.IndexFlatL2` を使っています。これは全チャンクとの距離を総当たりで計算する\n", "最もシンプルなインデックスです（小規模データには十分）。" ] }, { "cell_type": "markdown", "id": "g-10", "metadata": { "id": "g-10" }, "source": [ "### Top-K\n", "\n", "検索で取得する **上位 K 件のチャンク数** です。\n", "\n", "- K=1：最も類似度の高い1チャンクのみ → コンパクトだが情報が不足する可能性\n", "- K=3：バランス型（本課題のデフォルト）\n", "- K=5：より多くのコンテキスト → 無関係なチャンクが混入するリスクが増す\n", "\n", "```\n", "クエリ:「What is the deadline for submitting expense reports?」\n", "\n", "K=1 のコンテキスト:\n", " [チャンク①] Business expenses must be submitted via the expense portal\n", " within 30 calendar days of purchase...\n", "\n", "K=3 のコンテキスト:\n", " [チャンク①] Business expenses must be submitted via the expense portal\n", " within 30 calendar days of purchase...\n", " [チャンク②] reimbursable up to 5,000 JPY per person per event...\n", " [チャンク③] at 02:00 JST to minimize user impact... ← deployment規程の断片（ノイズ）\n", "```\n", "\n", "K を増やすほどプロンプトが長くなり、LLM のコンテキストウィンドウを消費します。\n", "TinyLlama のコンテキストウィンドウは **2048トークン** です。" ] }, { "cell_type": "markdown", "id": "g-11", "metadata": { "id": "g-11" }, "source": [ "### ROUGE-1\n", "\n", "**ROUGE（Recall-Oriented Understudy for Gisting Evaluation）** は\n", "生成されたテキストと参照テキストの間の **単語の重複** を測る自動評価指標です。\n", "\n", "ROUGE-1 は **ユニグラム（1単語）の一致率** を F1 スコアで表します。\n", "\n", "```\n", "参照（正解）: \"Production deployments occur on Tuesdays and Thursdays at 02:00 JST.\"\n", "生成文A: \"Deployments are scheduled on Tuesdays and Thursdays at 02:00 JST.\"\n", "生成文B: \"Deployments occur on Tuesdays.\"\n", "\n", "生成文A の ROUGE-1: 一致単語が多い → 高スコア\n", "生成文B の ROUGE-1: 正確だが情報が不足 → 中程度\n", "```\n", "\n", "**ROUGE-1 の限界：**\n", "\n", "- 単語の順序を考慮しない\n", "- 意味の正確性を直接測れない（正しい単語を使った誤文も高スコアになりうる）\n", "- 参照テキストの選び方に結果が大きく左右される\n", "\n", "本課題では ROUGE-1 の数値を参考指標として使いますが、\n", "**実際の回答テキストの内容を目視で確認することの方が重要**です。\n", "Level 4 の考察では ROUGE-1 の限界についても議論してください。" ] }, { "cell_type": "markdown", "id": "g-12", "metadata": { "id": "g-12" }, "source": [ "## 7. 本資料のまとめ\n", "\n", "| 概念 | 今回の実装 |\n", "|------|----------|\n", "| 情報源 | 架空企業「NALTOMA AI」社内規程文書 8 件 |\n", "| チャンク分割 | `split_into_chunks`（単語境界・文字数ベース） |\n", "| 埋め込み | `sentence-transformers/all-MiniLM-L6-v2` |\n", "| ベクトルDB | FAISS `IndexFlatL2` |\n", "| 検索 | `retrieve`（クエリを埋め込み → L2距離で Top-K 取得） |\n", "| 生成 | `TinyLlama/TinyLlama-1.1B-Chat-v1.0`（チャットテンプレート使用） |\n", "| 評価 | ROUGE-1（事前定義の参照回答と比較） |\n", "\n", "課題に取り組む際は、数値（ROUGE-1スコア）だけでなく\n", "**「どのチャンクがヒットしたか」「そのチャンクは質問に答えるのに十分か」**\n", "を必ず目視で確認してください。\n", "\n", "> **ポイント：** 今回の知識ベース（社内規程）の内容は TinyLlama には学習されていません。\n", "> 正しい回答が得られたとき、それは RAG による検索の成果です。\n", "> 誤った回答が得られたとき、それは検索の失敗か生成モデルの限界のどちらかです。\n", "> この観察を通じて RAG の有効性と限界を体験的に理解することが本課題の目的です。" ] } ] }