{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# テキストのベクトル化（spacy + α)\n",
    "- spacyに限定しない、一般的に共通した考え方。\n",
    "  - まずベクトル化するテキストの単位を決める。決めた単位でまとめておく。\n",
    "    - 複数文章？単一文章？複数文？単一文？複数単語？単一単語？\n",
    "  - テキスト群をtokenに分割する。ここでは分かち書き+原形処理に留める。\n",
    "  - token系列に対し、分布類似度仮説を踏まえた特徴量設計を考える。\n",
    "- 今回の例\n",
    "  - 文章のベクトル化\n",
    "    - [Bag-of-Words（BoW）](https://en.wikipedia.org/wiki/Bag-of-words_model), sklearnを利用。\n",
    "    - [TF-IDF](https://en.wikipedia.org/wiki/Tf–idf), sklearnを利用。\n",
    "    - [word2vec](https://ja.wikipedia.org/wiki/Word2vec)\n",
    "  - ベクトル空間を利用した類似コメント検索。\n",
    "- 今回は扱わない別例\n",
    "  - 名詞や形容詞など特定品詞のみ処理する。ストップワードで不要語を削除する。類語をまとめてしまう。n-gram、共起、係り受け情報の利用, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 利用ライブラリの用意、データセット準備\n",
    "事前に、[load_r_assesment.ipynb](./load_r_assesment.ipynb) でデータセットを作成し、pkl形式でファイル保存(r_assesment.pkl)しておく。今回は作成済みファイルをダウンロードして利用することにする。\n",
    "\n",
    "r_assesment.pklは授業評価アンケートの自由記述欄をpd.DataFrame形式で保存したもので、授業名(title)、学年(grade)、必修か否か(required)、質問番号(q_id)、コメント(comment)で構成される。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current\n",
      "                                 Dload  Upload   Total   Spent    Left  Speed\n",
      "100 34834  100 34834    0     0   154k      0 --:--:-- --:--:-- --:--:--  157k\n"
     ]
    }
   ],
   "source": [
    "!curl -O https://ie.u-ryukyu.ac.jp/~tnal/2022/dm/static/r_assesment.pkl"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>title</th>\n",
       "      <th>grade</th>\n",
       "      <th>required</th>\n",
       "      <th>q_id</th>\n",
       "      <th>comment</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>工業数学Ⅰ</td>\n",
       "      <td>1</td>\n",
       "      <td>True</td>\n",
       "      <td>Q21 (1)</td>\n",
       "      <td>特になし</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>工業数学Ⅰ</td>\n",
       "      <td>1</td>\n",
       "      <td>True</td>\n",
       "      <td>Q21 (2)</td>\n",
       "      <td>正直わかりずらい。むだに間があるし。</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>工業数学Ⅰ</td>\n",
       "      <td>1</td>\n",
       "      <td>True</td>\n",
       "      <td>Q21 (2)</td>\n",
       "      <td>例題を取り入れて理解しやすくしてほしい。</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>工業数学Ⅰ</td>\n",
       "      <td>1</td>\n",
       "      <td>True</td>\n",
       "      <td>Q21 (2)</td>\n",
       "      <td>特になし</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>工業数学Ⅰ</td>\n",
       "      <td>1</td>\n",
       "      <td>True</td>\n",
       "      <td>Q21 (2)</td>\n",
       "      <td>スライドに書く文字をもう少しわかりやすくして欲しいです。</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   title  grade  required     q_id                       comment\n",
       "0  工業数学Ⅰ      1      True  Q21 (1)                          特になし\n",
       "1  工業数学Ⅰ      1      True  Q21 (2)            正直わかりずらい。むだに間があるし。\n",
       "2  工業数学Ⅰ      1      True  Q21 (2)          例題を取り入れて理解しやすくしてほしい。\n",
       "3  工業数学Ⅰ      1      True  Q21 (2)                          特になし\n",
       "4  工業数学Ⅰ      1      True  Q21 (2)  スライドに書く文字をもう少しわかりやすくして欲しいです。"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import spacy\n",
    "\n",
    "nlp = spacy.load(\"ja_ginza\")\n",
    "\n",
    "assesment_df = pd.read_pickle('r_assesment.pkl')\n",
    "assesment_df.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## サンプルの単位（ベクトル化の対象）を決める\n",
    "assesment_dfの comment はある科目（title）の質問（q_id）に対する回答内容（comment）が記録されている。この回答内容は受講者毎に別コメントとして記載されている。例えば上記出力内容においては、``title = 工業数学Ⅰ and q_id = Q21(2)`` となっているコメントが4件表示されている。これらは異なる受講者が同一質問に対して回答したことを示している。また2行目の出力では「正直わかりづらい。むだに間があるし。」のように2つの文が記入されている。このようにコメントには複数文が含まれることもあることを想定しておこう。\n",
    "\n",
    "今回はこの「1受講生の、ある科目のある質問に対するコメント」を1サンプルとして扱うことにしよう。つまり、このassesment_dfにおけるcommentをそのままベクトル化する単位とする。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 分かち書き処理\n",
    "spacyを使って分かち書きしよう。この際、token.lemma_により原形処理するものとする。また分かち書き結果を「スペースを区切り文字としたtoken系列」として保存することとする。例えば「これはテストです」を「これ は テスト です」という文字列として保存する。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "特になし\n",
      "特に なし\n"
     ]
    }
   ],
   "source": [
    "def text_to_sequence_of_words(text, sep=' '):\n",
    "    '''テキストをtokenに分割し、sep区切りの文字列として結合した文字列を返す。\n",
    "    args:\n",
    "      text (str): 処理対象となるテキスト。\n",
    "      sep (str): 処理結果を結合するための区切り文字。\n",
    "    return\n",
    "      str: sepで結合した分かち書き結果。\n",
    "    '''\n",
    "    doc = nlp(text)\n",
    "    sequence = []\n",
    "    for token in doc:\n",
    "        sequence.append(token.lemma_)\n",
    "    return sep.join(sequence)\n",
    "\n",
    "def df_to_sequence_of_words(df, column, sep=' '):\n",
    "    '''df[column]を対象として分かち書きする。\n",
    "    args:\n",
    "      df (pd.DataFrame): テキストを含むデータフレーム。\n",
    "      column (str): dfにおける処理対象となる列名。\n",
    "      sep (str): 分かち書き結果を結合する文字。\n",
    "    return\n",
    "      result ([str]): text_to_sequence_of_words()で分かち書き処理された文字列のリスト。\n",
    "    '''\n",
    "    result = []\n",
    "    for comment in df[column]:\n",
    "        result.append(text_to_sequence_of_words(comment, sep))\n",
    "    return result\n",
    "\n",
    "sequence_of_words = df_to_sequence_of_words(assesment_df, 'comment')\n",
    "print(assesment_df['comment'][0])\n",
    "print(sequence_of_words[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Bag-of-Wordsによるベクトル化"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "# normal BoW\n",
      "shape =  (170, 788)\n",
      "feature_names[:10] =  ['100' '19' '20' '30' '40' '80' 'cm' 'covid' 'css' 'denchu']\n",
      "vectors[0] = \n",
      "   (0, 594)\t1\n",
      "  (0, 121)\t1\n",
      "type(vectors[0]) =  <class 'scipy.sparse._csr.csr_matrix'>\n",
      "特に\n",
      "なし\n"
     ]
    }
   ],
   "source": [
    "import sklearn.feature_extraction.text as fe_text\n",
    "\n",
    "def bow(docs, stop_words=[]):\n",
    "    '''Bag-of-Wordsによるベクトルを生成。\n",
    "\n",
    "    :param docs(list): 1文書1文字列で保存。複数文書をリストとして並べたもの。\n",
    "    :return: 文書ベクトル。\n",
    "    '''\n",
    "    vectorizer = fe_text.CountVectorizer(stop_words=stop_words)\n",
    "    vectors = vectorizer.fit_transform(docs)\n",
    "    return vectors, vectorizer\n",
    "\n",
    "stop_words = ['こと', '\\r\\n', 'ため', '思う', 'いる', 'ある', 'する', 'なる']\n",
    "vectors_bow, vectorizer_bow = bow(sequence_of_words, stop_words)\n",
    "print('# normal BoW')\n",
    "print('shape = ', vectors_bow.shape)\n",
    "print('feature_names[:10] = ', vectorizer_bow.get_feature_names_out()[:10])\n",
    "print('vectors[0] = \\n',vectors_bow[0])\n",
    "print('type(vectors[0]) = ', type(vectors_bow[0]))\n",
    "print(vectorizer_bow.get_feature_names_out()[594])\n",
    "print(vectorizer_bow.get_feature_names_out()[121])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### TF-IDFによる特徴量調整"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "# BoW + tfidf\n",
      "  (0, 121)\t3.1972245773362196\n",
      "  (0, 594)\t3.00616934057351\n"
     ]
    }
   ],
   "source": [
    "def bow_tfidf(docs, stop_words=[]):\n",
    "    '''Bag-of-WordsにTF-IDFで重み調整したベクトルを生成。\n",
    "\n",
    "    :param docs(list): 1文書1文字列で保存。複数文書をリストとして並べたもの。\n",
    "    :return: 重み調整したベクトル。\n",
    "    '''\n",
    "    vectorizer = fe_text.TfidfVectorizer(norm=None, stop_words=stop_words)\n",
    "    vectors = vectorizer.fit_transform(docs)\n",
    "    return vectors, vectorizer\n",
    "\n",
    "vectors_tfidf, vectorizer_tfidf = bow_tfidf(sequence_of_words, stop_words)\n",
    "print('# BoW + tfidf')\n",
    "print(vectors_tfidf[0])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### ja_ginza(word2vec)によるベクトル化"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "# word2vec\n",
      "vectors_w2v[0][:10] =  [ 0.03997449 -0.12051773 -0.04468929 -0.12576343 -0.11509937 -0.02549797\n",
      " -0.04673433 -0.12278005  0.06705444 -0.05726326]\n"
     ]
    }
   ],
   "source": [
    "def word2vec(df, column):\n",
    "    vectors = []\n",
    "    for text in df[column]:\n",
    "        doc = nlp(text)\n",
    "        vectors.append(doc.vector)\n",
    "    return np.array(vectors)\n",
    "\n",
    "vectors_w2v = word2vec(assesment_df, 'comment')\n",
    "print('# word2vec')\n",
    "print('vectors_w2v[0][:10] = ', vectors_w2v[0][:10])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 類似コメント抽出実験\n",
    "テキストを3手法でベクトル化することが出来た。このベクトル空間を使って類似コメント（ベクトル空間内でのコサイン類似度が高いコメント）を検索してみよう。3つのベクトル空間はそれぞれ異なるため、例えばBoWで検索したい場合には検索クエリをBoWベクトル空間に写像し、近いベクトルを探すという手順を踏む必要がある。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### BoWの場合"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "授業 が 難しい\n",
      "  (0, 487)\t1\n",
      "  (0, 773)\t1\n"
     ]
    }
   ],
   "source": [
    "query = '授業が難しい'\n",
    "sequence_of_words = text_to_sequence_of_words(query)\n",
    "print(sequence_of_words)\n",
    "target_vector_bow = vectorizer_bow.transform([sequence_of_words])\n",
    "print(target_vector_bow)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "similarity = 0.500 => 難しかったです\n",
      "similarity = 0.354 => コロナのせいで無くなったけど合宿授業したかった。でも、改めて授業として道徳を学ぶことができてためになったのでよかったです。\n",
      "similarity = 0.345 => 試験内容に初めて見る問題があった．さらにその後の解説もあまりなかったので難易度が他の授業に比べて高すぎると感じました．それは，内容が難しいというよりも授業で試験に出る内容を網羅し切れていないことによるものと思いました．遠隔の試験であったことが大きいということは重々承知の上で，問題内容が伝わり辛かったので他の授業のようにどうにか対応して欲しかったです．また，平均点が他の授業と比べて低すぎるので追加で課題などが欲しかったです．\n",
      "similarity = 0.289 => 元気がある先生で、授業も楽しく聞けました。\n",
      "similarity = 0.289 => プログラミングを全く触ったことがなかったのでとても難しかった。\n"
     ]
    }
   ],
   "source": [
    "from sklearn.metrics.pairwise import cosine_similarity\n",
    "\n",
    "def most_similar_comment_indices(vectors, query_vector, n=3):\n",
    "    similarities = cosine_similarity(vectors, query_vector)\n",
    "    similarities = similarities.reshape(len(similarities)) # 1行に整形\n",
    "    most_similar_indicies = np.argsort(similarities)[::-1][:n]\n",
    "    most_similarities = np.sort(similarities)[::-1][:n]\n",
    "    return most_similar_indicies, most_similarities\n",
    "\n",
    "def print_comment_with_similarity(df, column, indicies, similarities):\n",
    "    for i in range(len(indicies)):\n",
    "        comment = df[column][indicies[i]]\n",
    "        similarity = similarities[i]\n",
    "        print(f'similarity = {similarity:.3f} => {comment}')\n",
    "\n",
    "indicies, similarities = most_similar_comment_indices(vectors_bow, target_vector_bow, 5)\n",
    "print_comment_with_similarity(assesment_df, 'comment', indicies, similarities)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### TF-IDFの場合"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "  (0, 773)\t3.502606226887401\n",
      "  (0, 487)\t2.55814461804655\n",
      "similarity = 0.699 => 難しかったです\n",
      "similarity = 0.287 => プログラミングを全く触ったことがなかったのでとても難しかった。\n",
      "similarity = 0.279 => まだ１年次ということもあり、特に難しくなくてよかったです。\n",
      "similarity = 0.236 => 試験内容に初めて見る問題があった．さらにその後の解説もあまりなかったので難易度が他の授業に比べて高すぎると感じました．それは，内容が難しいというよりも授業で試験に出る内容を網羅し切れていないことによるものと思いました．遠隔の試験であったことが大きいということは重々承知の上で，問題内容が伝わり辛かったので他の授業のようにどうにか対応して欲しかったです．また，平均点が他の授業と比べて低すぎるので追加で課題などが欲しかったです．\n",
      "similarity = 0.228 => 課題は学びはじめにとっては難しかったけど達成感はGOOD\n"
     ]
    }
   ],
   "source": [
    "target_vector_tfidf = vectorizer_tfidf.transform([sequence_of_words])\n",
    "print(target_vector_tfidf)\n",
    "\n",
    "indicies, similarities = most_similar_comment_indices(vectors_tfidf, target_vector_tfidf, 5)\n",
    "print_comment_with_similarity(assesment_df, 'comment', indicies, similarities)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### word2vecの場合"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[-0.09240351 -0.11036714 -0.05784035 -0.07640907 -0.04625978]\n",
      "similarity = 0.839 => 教科書が必要ない講義ということで最初は不安でしたが、講義内の説明もわかりやすく、授業資料もとても丁寧に書かれていたため、しっかりと学習することができました。\n",
      "similarity = 0.821 => 生徒が自主学習できる環境を作ってくれていたため、とても勉強しやすかったです。\n",
      "similarity = 0.820 => 元気がある先生で、授業も楽しく聞けました。\n",
      "similarity = 0.820 => 受講前から噂は聞いていたので心してかかったつもりですが、それでも思わずクソゲーと叫びたくなるような難易度でした。これの恐ろしいところは、課題や授業で出された問題は解けるのですが、中間・期末テストで急激に難易度が跳ね上がるところですね。\n",
      "\n",
      "せめて過去問を配布してくれたりすると、生徒側としてはテストに向けての勉強が捗るだけでなく、授業でも要点をしっかり押さえて勉強できたりすると思います。\n",
      "similarity = 0.817 => ・授業の方法自体は普通であったと思います(板書が若干見づらかったが、オンラインのために板書が汚かったりすることなどはしょうがないと思いました)。\n"
     ]
    }
   ],
   "source": [
    "target_vector_w2v = [nlp(query).vector]\n",
    "print(target_vector_w2v[0][:5])\n",
    "\n",
    "indicies, similarities = most_similar_comment_indices(vectors_w2v, target_vector_w2v, 5)\n",
    "print_comment_with_similarity(assesment_df, 'comment', indicies, similarities)"
   ]
  }
 ],
 "metadata": {
  "interpreter": {
   "hash": "880b2a8c90f9e6beae80b56829e3f671fedd58b6d14887184ddce26124cedfbd"
  },
  "kernelspec": {
   "display_name": "Python 3.8.9 64-bit",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.9"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}