「ロボットは東大に入れるか」キックオフシンポジウムへの参加記録

ロボットは東大に入れるかのキックオフシンポジウム（公開講演会）に参加してきました。備忘録としてのメモや考えさせられたことのメモです。

参加するにあたって個人的に考えていたこととしては、(1)用紙上の領域認識（どこが問題文で、図表があるならどういう区切りになっててどう対応しているかの識別等）、(2)領域毎の解釈（問題理解、問うてる対象推定、図表の言い表している内容理解等）、(3)手持ち材料を用いた戦略立案（どのように解くかを検討・推定等）、(4)最適戦略に基づいたor各種戦略に基づいた回答毎に妥当性判断、といったサブ問題に分割されるのかなと想像しての参加でした。

シンポジウムで得た情報から判断する限りでは、ある程度問題の分割方法を想定している部分はある（最終的には評価用プラットフォームとしてオープンなAPIを提供するっぽい）ようで、個別に詳細細分化して研究されている事柄を融合して総合的に取り組むことを促進しやすい触媒としての場を目指すというような趣旨と理解しました。実際、NTCIR RITEのような形でコーパスと開発用API（？）を公開しつつあるようですし。そういう意味では参加する前に想像してたことと大差がありませんでした。

一方参加して気づかされた点もあり、「東大入試」を選択しているのはただの事例だと思っていたのですが、他大学ではダメという主張らしい。選択した理由は、(a)他大学のようにひねくれた問題が少なく、比較的素直な問題であること。(b)一般的な常識があれば誤読することがないようにコントロールされた日本語で記述されていること。といったことで、東大入試を選択したらしい。この「細分化されまくってる多分野の融合」と「一般的な常識の実現」というトピックが一つの主題になるらしい。問題細分化については、取り組みやすくなるという一方で見逃してしまう現象／知見なりが多々あると思うので、積極的に融合できるように「そのための適度なサイズのタスク」というのをうまく設計しようというのは良い試みだと思います。

飛び火した話題としては、入試を含めた教育の在り方なんて話題もありましたが、そこら辺は個人的にはあまり興味ないかな。「人間らしさ」という点では興味はありますが、コンピュータが実現できたら人間らしさが危うくなるとかいう訳じゃないし。

あと、前々から思ってたことなんですが、いわゆる記号論なりで事象を表記するというアプローチ自体が妥当なのかというニュアンスの話題も出てきてたのが嬉しかったです。記述できないことは実装できない、という主張自体に個人的には疑いを持っているので、何かしら新しい観点を主張できるようになりたいものです。

以下はプログラム毎の備忘録用にメモった内容です。
第2部はバッテリー切れのため手書きしてたのですが、後でサマリする予定です。
誤解も多分に含まれると思うので、ご注意ください。
→別記事として書きました。

主催者挨拶　（坂内正夫・NII 所長）

情報に関わる問題はもう既に解決し尽くした？
GoogleやYahoo!に任せれば解決できるのか？
ブレイクスルーを起こす難問として何があるか。
研究戦略室：「ロボットは東大に入れるか」
　Watsonの2番煎じ？
　どうブレイクダウンするか。どのような難問で構成されているのか。
　　面白い切り口（ブレイクスルーに繋がる種を含んでいる）という触感。
　　プレ実験的には最高で58点程度取れたグループもある。
物議を醸すようならむしろ醸したい。
　コンピュータでできること／人間の知性に近づくこと／得意不得意
　　e.g., もし、東大はいれるようになるなら、
　　そういう入試問題で選抜して良いのか。人間にしかできない問題？
情報学研究所
　オープンプラットフォームとしての役割
　　大学／企業／etc.の垣根を越えて団結して取り組むためのアクション。
　　アイデアを出すことも大切だが、目標を定め若い／若々しい人材を引きつける。
　　共通の問題をアカデミアが掲げ、企業らも巻き込んでその問題に取り組む。

＜第一部＞　講演会

基調講演　（松原仁・公立はこだて未来大学） 人工知能のグランドチャレンジ　－チェス、サッカー、クイズから東大入試へ－

AI
　人工物に人間のような知能を持たせる（e.g., 鉄腕アトムの実現）
グランドチャレンジ
　それ自体は直接役に立たなくても、象徴的な目標。
　その達成を目指すことで大きな技術的進歩が期待されるもの。
　　e.g., アポロ計画
複数のグランドチャレンジが並行して進んでいる中での「東大入試」の位置付け
チェス（マッカーシー「人工知能のショウジョウバエ」）
　AIで最初のグランドチャレンジ
　　→シャノン、チューリング、、、探索手法の技術進展に大きく寄与
　　1950,60年代：最初は「人間の真似（見込みの高い少数の手だけを読む）」方式
　　　将棋の羽生さん等専門家は「直感で数手が思い浮かび、それを検討する」
　　1970年代：「力任せ」方式（ルール上指せる手は原則全部読む）
　　1980年代：スーパーコンピュータ：チェス専用コンピュータ
　　1986年：CMU Deep Thought 1秒間に70万手読む→プロレベルに
　　1989年：IBMプロジェクト開始
　　1990年：世界チャンピオンのカスパロフと2戦2敗（大差）。
　　1997年：6戦2勝1敗3分け（1秒間に2億手読む。スパコン＋専用コンピュータ約500台）
　　現在はPCでもコンピュータの方が強い。もうすぐスマートフォンレベルでも？
他のゲーム
　チェッカー：2007年解明（理論的に引き分け）
　オセロ：1997年世界チャンピオンを破る
　将棋：2010年女流プロを破る。世界チャンピオンまで後一歩（数年）。
　囲碁：世界チャンピオンまであと十数年？
　　モンテカルロ法でアマ4段程度
サッカー
　チェスに変わるグランドチャレンジとして1990年前後に模索。
　　北野編「グランドチャレンジー人工知能の大いなる挑戦ー」。
　　この時点ではまだサッカーは出ていなかった。
　1993年頃：サッカーに絞り込む（ロボットJリーグ）
　　国際化を指向して「ロボカップ」
　1995年：世界的に構想発表
何故サッカーか
　団体スポーツであること。
　時々刻々と状況が変化すること。
　必ずしも思った通りには進まないこと。
　わからない情報を補う必要があること。
　（難しいながらも）なんとかロボットにチャレンジできそうなこと。
　世界で一番人気のあるスポーツであること。
ロボカップ／レスキュー／アットホーム
クイズ　ジョパディ！
　アメリカで数十年続く人気クイズ番組。
　　基本的には知識を問う問題（自然言語）。
　回答は単語（東大入試よりやさしそう）
　強いチャンピオンは英雄扱いされている
　IBMはディープブルーに続くグランドチャレンジとしてジョパディ！制覇を目指した。
　自然言語処理、自動検索、ゲーム理論
ロボットは東大に入れるか
　東大入試で合格点を取ることを目指す。
　「人工頭脳」プロジェクトと称している。
　自然言語処理、物理モデル、推論など。
　　知識を問う問題よりも推論を問う問題が多い？
　クイズよりはかなり難しい。
　東大問題は比較的素直なのでコンピュータ向きかもしれない。（京大は癖があるのでその次？）
　いつか本当のロボットが人間と一緒に受験して欲しい。
　　妄想：HB鉛筆を折らずに書けるか／落とした時に手を挙げて,,,
　成功すると
　　(1)人工知能の進歩が目に見えて分かる
　　(2)事務のある程度がコンピュータで代行できる
　　(3)入試問題の難しさの基準ができる
　　(4)東大入試の幻想が無くなる？

「ロボットは東大に入れるか」プロジェクト概要説明（新井紀子・NII）

目標
　実際のテスト用紙→データ化（アノテーション付き）→ロボットへの入力
目的
　「東大に入ること＝究極の知能」＊ではない＊。
　素材として興味深い。
　口頭試問ではなく、テキスト、画像、音声によって提示される。
　人とのインタラクションは無い。
　試験問題はなるべく誤読が生じないように、コントロールされた日本語で記述されている。
　　Web上のテキスト等とは異なる性質。
　試験問題には必ず正解がある。
　　数学理科だけでなく倫理社会国語でも正解がある。
　　　e.g., 心の葛藤を問う問題でも「合意できる正解」がある。
　健全な常識と論理を持つ18歳であれば、
　コントロールされた日本語で書かれれば解けることが期待されている。
　　＊比較するための材料として使われる要因。
特性／特質
　膨大なデータがあれば（投入できれば）解決できる問題でもない。
　（問題を解く）系があれば十分というタイプの問題でもない。
　現状：人間の平均点にも遠く及ばない。
　何が難しいのか。
　　知識／常識／演繹の中でも「常識」が厄介。
　　記憶に格納されてる知識や演繹だけでは不十分。
　　【身体性が持つある種の感性や感覚、それが醸し出す常識が渾然一体となっている】
科学に提供されている言語：数学の言語（解析、代数、確率統計、論理、確率統計、、）
　この言語で書けるならコンピュータに搭載できる。
　逆に書けないなら、搭載できない。
　常識や身体性から来る感覚をうまく記述する方法を見つける必要がある。
　科目：分割可能性
　　国語：論説文読解／小節読解／詩歌／古文／etc.
問題の例
　英語
　　ある一家の一日。父と娘に関する語りを説明。それに相応しいイラストを選択する問題。
　　何故「イラストによって表象され、それを理解できる」のか。
従来のアプローチ：ターゲットを絞り込む
　分野を細分化して行くことに繋がったが、そろそろ融合する必要が無いか。
　融合に必要なのは「しましょう」というかけ声ではなく、
　適切な問題設定が提供されること。
　「東大入試」には適切なサイズの問題が渾然一体となった形で提供されている。
問題の一部は解けてきている部分もある。
　口述を聞き取る能力等。
　また、適切な論理記述に変換さえできれば多くの問題が解けると言われている。
　ただし、普通の日本語で書かれた文章をどうやって変換するかはまだ分からない。
問い：「優秀さ」はプログラミング可能か？
「東大入試に迫るコンピュータから見えてくるもの」

「人工知能にとってなぜ大学入試はチャレンジングか」（稲邑哲也・NII）

自己紹介：Human Robotインタラクション。
人工知能？ロボット？
GOFAI: Good Old Fashioned AI
　閉じた世界でしか通用しない知能。
　反省点
　　シンボルの情報処理だけでは実現不可能。
　　曖昧であるシンボルの意味・解釈を解決せねばならない。
　新しい潮流
　　身体性に根付いた情報処理を！
現状のロボット研究はどこまで成功しているか？
　部分的なタスクに限定すれば成功。
　GOFAIが目標としていた問題には到達できていない。
　　曖昧な実世界情報の解釈はある程度可能に。
　　高次レベルの知能の層と、身体（センサ／アクチュエータ）の情報処理層との結ぶ橋が無い。
　抽象度の高低と橋渡し
　　GOFAI＞ ？？？ ＞ Enbodied Robotics
　　細分化していく一方。
二つの流れが合流して初めて解ける問題の例
　国際数学・理科教育動向調査（TIMSS）
　　定規にバターで固定した豆を用意。片方から温めるとどの順番で豆が落ちるか。
　　小学4年理科：正解率日本92％、世界57％
　　　温めるとバターが溶ける／温められる場所から／etc.
実体験に基づく論理的思考が必要な問題の例
　自転車で転び、袋に入れた食塩をこぼしてしまった。
　集めてビニール袋に戻したが砂や落ち葉も混ざった。
　食塩だけを取り出す方法を順番に書き、その理由も書きなさい。
　　教科書に書かれていることの理解には「実体験との接続」が重要。
　　「大学入試」への第一歩（？）
単に高得点を取るだけで良いなら
　暗記科目タイプをチョイス。
　が、得点を取る機能ではなく、実世界を理解する知性への挑戦。
　　主に物理・地学に集中する方針。
骨太のテーマ
　画像理解と自然言語処理の統合。
　　曖昧性解消のための画像理解と自然言語理解の相補的な統合<。
　　図と文章からの物理モデルの再構成。
　　　相補的に統合して考える力。
　　　　画像から得られる意味のグラフ化。
　　　　自然言語から得られる意味のグラフ化。
　　　　双方のグラフ構造が整合性の取れるように解釈を調整。
　　　古典：SHRDLU（課題点：曖昧な実世界情報の取り扱い／etc.）
　物理現象のモデル化と予測。
　　3次元モデルの構築と物理シミュレーションによる将来予測。
　　　数秒後／数時間後／数年後を予測
非常に難しい問題（あきらめる？）
　記号化されていない情報を用いて論理的な推論を必要とする問題
　　月面クレーターの写真、影の大きさ、、、からの推論
実世界の経験に根付いた問題
　「東大入試」からのスタートは、発達順序とは異なるが、こちらからのスタートも必要。

「知識を問う問題にコンピュータはどれだけ答えられるか」（宮尾祐介・NII）

自然言語処理：検索、自動翻訳、対話システム、、
　人間の言葉を理解するコンピュータを作ることを目指す学問。
　入力(言語)と出力(言語)の間にどのような「計算」が行われているのかを明らかにしたい。
　それが「知能」ではないか。
　　全ての科目は基本的に自然言語で出題される。
東大入試
　知識を問う問題＝教科書や参考書を見れば答えられる問題。
　　解説文を読み「最も適当なものを、次のうちから一つ選べ」
　　一般的な常識を持っている人なら教科書／参考書を見れば答えられる。
　　とはいえ、コンピュータには答えられない。
　　得意なのは「丸暗記」であって「記憶」ではない。
　　　人間に取って意味のある「記憶」とは？
　　　　言葉そのものではなく、言葉が表す内容（＝意味、知識）。
言葉から意味、知識へ
　例
　　1)犬に風邪薬を飲ませると貧血状態になる
　　2)ビーグルが風邪薬を食べたら病気になる
　　言葉として一致しているのは「風邪薬」のみ。
　　対応関係から「意味が同じ」と考えられるのは何故か。
知識を問う問題とは？
　記憶していることと問われていることが「意味的に一致しているかどうか」を認識する。
　人間は無意識のうちに認識している。
　　コンピュータにとっての「知識を問う問題」
　　　記憶との一致ではなく、意味が一致しているかを問うところがチャレンジング。
含意関係認識
　2つの文の間に含意関係が成り立つかどうかを判定。
　含意関係：ある文が正しいとした時、もう一方の文が正しいと言える。
　　自然言語処理での最近のホットトピック。
NTCIR：国立情報学研究所が主催している国際ワークショップ
　検索／翻訳などの情報アクセス技術の評価のための共有データを提供。
　毎回、複数のタスクを設定。
　NTCIR RITE：新聞から抽出した二文について含意関係が成り立つかを判定。
　大学入試にチャレンジ
　　IBM東京基礎研究所／CMU／京都大学／東北大学／北陸先端大学院大学／JUCS
データの作り方
　センター試験から問題抽出→選択肢抽出→Wikipedia検索→同単語を含む文を選択
　現状での精度
　　IBM-1で精度72.2%、F値62.6%
　　平均精度60~70%
　　　試験の正答率は、20~60%（精度と正答率には高い相関が見られた）
　　　鉛筆転がし(25%)よりは大分良い
含意関係でできることはごく一部
まだ解けない問題
　倫理の例
　　自我同一性を見失っている心理状態についての語り文。
　東大入試問題
　　＊＊について2行で説明しなさい。
　　　マークシート式か記述式かの違いは本質的ではない。
　　＊＊について役割や意義を時期区分しながら説明しなさい。
　　　関連知識の検索。
　　　出題意図の認識。
　　　回答方式の指定の認識。
　　　→関連する知識を統合して回答を作りだす。
「知識を問う問題」の先へ
　自然言語→意味・知識
　出題意図／含意関係／知識検索
　シミュレーション／数式処理・理解／知識統合／時間・空間の推論／常識／因果関係の認識・推論／etc.
　　その先には何があるのか。

＜第二部＞　パネルディスカッション

「知性と知識のはざまで」司会　瀬名秀明（作家）, 安西祐一郎（日本学術振興会）、喜連川優（東京大学）、松原仁、新井紀子

（後でサマリ予定）

他の参加記事

・「ロボットは東大に入れるか。」シンポジウムに行ってきました。 by ロボコンマガジン
・シンポジウム「ロボットは東大に入れるか」参加記録 by Uehara-monologue
・「ロボットは東大に入れるか」 by ガジェット通信
・「ロボットは東大には入れるか」の最初のシンポジウムに行ってきた。 by IHARA Takehiro
・「ロボットは東大に入れるか」 by ニコニコニュース
・「ロボットは東大に入れるか？」ロボットが東大合格を目指すプロジェクトが発足（国立情報学研究所） by ガラパイア
・「目標は東大合格」国立情報学研が人工知能プロジェクト by 朝日新聞社
・ロボットは東大に入れるか – 国際的な人工頭脳研究プロジェクトが開始 by マイナビニュース
・NII、「人工頭脳プロジェクト」キックオフシンポジウムレポート ～ロボットは東大に入れるか by 森山和道の「ヒトと機械の境界面」
・2021年に東京大学“合格”を目指す：チェス、オセロ、クイズの次は「東大」だ!! ――NII「人工頭脳プロジェクト」始動 by @IT MONOist

Tags: AI, イベントレポート, 学会