[複雑研全体ゼミ補足記事] 5/27, 強化学習、マルチエージェント・シミュレーション

先週の土砂降り週間とは打って変わり、雲も少なめの晴天夏日。週間予報的には今週は晴れ／曇りが並んでますね。梅雨明けには早いかもしれないけど実質的にはこのまんまなし崩し的に天候が安定してくれたら嬉しいな。

以下は複雑研全体ゼミを終えての補足記事です。

来週は一回お休み入れることにして、その間にグループ毎に何を読むのか調整してください。教員／先輩らも含めて相談してもらって構いませんし、何らかの形で巻き込むのもアリです。（適宜相談してください）

できるだけ6/3(月)中には調整し終えよう。

[1] ゲート-モジュール型強化学習アルゴリズム, 情報処理学会 第75回全国大会, 2R-8
[2] セルオートマトン法による避難流動のシミュレーション, 日本オペレーションズ・リサーチ学会和文論文誌, 2008, http://www.orsj.or.jp/~oldweb/e-Library/t51-6.pdf

＞強化学習

発表時点ではマリオAIあたりを想定してるぐらいで学習手法はいくつか検討しているようでしたが、討論で強化学習に決まりつつあったようなのでそっち方面について事例を紹介します。

IPSJ75だけでもいくつかあるようですが、状態空間の扱い方や学習効率を改善しようと試みている事例としては、
[3] の段階的/組み合わせにより状態空間を効率良く使おうとするタイプ、
[4] の連続空間をクラスタ化するタイプ、
[5] のニューラルネット(の一種)を状態空間として扱うタイプ、といったものがあるようです。また、JCSSでは
[6] の緩い対称性推論（Loosely Symmetric Model）のような直感的傾向を導入してみた事例も紹介されているようです。

[3] 段階的学習による高自由度ロボットの強化学習の効率化, 情報処理学会 第75回全国大会, 1R-3
[4] 連続状態空間における状態クラスタを用いた強化学習, 情報処理学会 第75回全国大会, 2R-9
[5] 時系列パターンのためのニューロンの追加が可能な領域表現を用いた高速KFM連想メモリを用いた探索行動の学習, 情報処理学会 第75回全国大会, 2S-2
[6] 緩い対称性推論を用いた強化学習アルゴリズム, 日本認知科学会 第29回大会, JCSS2012_P1-22, http://www.jcss.gr.jp/meetings/JCSS2012/proceedings/pdf/JCSS2012_P1-22.pdf

＞マルチエージェント・シミュレーション

具体的なシミュレーション対象自体がまだ決まっていないという話でしたので、マルチエージェント型のシミュレーションにどういう事例があるかということで俯瞰的に紹介してみます。

[7]は比較的今回の防災に近い事例で、空間の表現方法として実座標型・メッシュ型・ネットワーク型で分類比較し、シミュレーション利用者に理解し易いモデルが必要だというスタンスで取り組んでいるようです。
[8]は、知識獲得と忘却機能について社会的インタラクションを加味したシミュレーションを通して「忘却」にどのような機能があるかを検討するという事例らしい。
[9]は、複雑化・分散化の一途を辿る電力系統では「情報の正確性の保証がなく、全体的な情報を得ることが難しい」状況らしく、分散型システムによる対応が必要とのことで故障設備判定をマルチエージェントモデルでやってみているようです。
[10]は、アブストしか眺めていませんがマルチエージェント型のWebクローラにより、ネットパトロール効率化の実現に取り組んでみているようです。

[7] マルチエージェントモデルによる群衆歩行性状の表現, 日本建築学会計画系論文集 第74巻, 2009, https://www.jstage.jst.go.jp/article/aija/74/636/74_636_371/_article
[8] “忘れて知識を正す”: 社会的インタラクションから見る忘却の適応的性質, 日本認知科学会 第29回大会, JCSS2012_O2-3, http://www.jcss.gr.jp/meetings/JCSS2012/proceedings/pdf/JCSS2012_O2-3.pdf
[9] マルチエージェントによる電力系統故障設備判定方式, 電気・情報関連学会中国支部連合大会, 2010, http://www.iis.it-hiroshima.ac.jp/~nagata/PDF/2010/2010-10-Fukunaga-IEEJ-Chugoku-Branch-p187_7-1.pdf
[10] マルチエージェントクローラを用いた有害ユーザの効率的発見手法, 情報処理学会論文誌, 2012, https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=79949