AIとビッグデータ利用の問題点
2019.07.20
・ 最近はAIブームも一段落したようだが、相変わらず新聞広告などでは、「AIを利用した＊＊＊」などが大きく取り扱われ、人々の注目を浴びている。フィナンシャル・タイムズによれば、ロンドンの投資企業MMCが欧州の2,800余に及ぶAIスタートアップを調べたところ、そのうち4割は、じつはAIアプリを使っていなかったという。つまりAIというのは単なる宣伝文句に過ぎなかったことがわかる。
・最近AIとビッグデータの問題点を論じた本が出版された。それは「AIによる“だまし”」（The AI Delusion）というタイトルで、著者はゲリー・スミスという統計学の先生だ。タイトルのおどおどろしさに比べ内容はまともで、AIを今後企業スキルの一環として導入しようとしている人たちにも役立つと思われる。
・以下本の内容を紹介する。まず出てくるのは、2016年のトランプとヒラリー・クリントンの大統領選挙を巡るエピソードだ(p2)。この選挙戦でクリントンは60人の数学者と統計学者を雇いAdaと名付けるソフトを開発させた。このソフトはビッグデータを用いて、選挙区ごとの住民の特性などから、ヒラリー・クリントンとトランプの得票予測を行い、クリントンが勝つためにはどうすればよいかを教えてくれるものだった。このソフトを使って、ヒラリー・クリントンは選挙の最適戦略を練ったという。
・ところがこのソフトはサンダースやトランプに向けられた大衆の熱狂を理解できなかった。ヒラリーの夫ビル・クリントンは、自らの選挙体験から、ヒラリーの選挙戦の行方がおかしくなってきたと感じて、ヒラリーに忠告しようとしたが、ヒラリーはコンピュータを信用し、最後にはビルからの電話にも出なくなったという。選挙結果はよく知られていることだが、トランプの勝利に終わった。ゲリー・スミスは、ビッグデータとコンピュータを盲信することの危険性を示している。
・それ以外にも、第二次大戦中、英国の爆撃機がドイツ爆撃に使われたとき、帰還した爆撃機の銃弾による穴のデータから、爆撃機のどの部分を補強すればよいかを検討した例が挙げられている(p67)。銃弾による穴は翼と機体後部に集中していたという。では墜落を避けるためには、翼と機体後部を補強すればよいか。ウォルドという有名な統計学者が、それは違うと言った。なぜなら帰還機だけのデータを見ていては、本当のところがわからない。問題なのは撃墜された飛行機であり、そのデータがなければどこを補強すればよいかがわからないからだ。こうした議論の結果、コックピットと燃料タンクを補強することになり、これが爆撃機の撃墜率の低下に役立ったという。
・これはたとえば、スーパーのパン売り場でパンの売れ筋データをチェックすることと似ている。そこではアンパンもジャムパンもブドウパンのいずれも棚からなくなるだけ売れているとする。それを見れば、それぞれの仕入れ数量を変える必要は無いように見える。しかし実際は、買い手はジャムパンがほしいのに、それが売り切れているため、仕方なくアンパンを買ったかもしれない。そうだとすると、ジャムパンの仕入れを増やすべきであり、アンパンの仕入れは減らしてもよいかもしれない。こうした事情は、結果としての売上数量を見ただけではわからないことになる。
・別な例としては、株価予測があげられる（p184）。ここでゲリー・スミスは株価を各地の気温で説明する式を立て、それに基づく株価実績と計算式の結果を比較している。それはきれいな当てはまりを示しているが、将来予測には、（当然のことだが）まるで役に立たない。ブラックボックス化したAIソフトによる株価予測などはこうした危険がついて回ることに注意せねばならない。
・要するに、①ある期間のデータを用いた構造分析は、（サンプルを外れた）構造を推定するにはあまり役立たない、②データを多くしすぎると（これがビッグデータの特色だ）、見かけ上の相関が出るケースがあり、間違った判断をしがちになる、③仮説無き推定結果からは間違った結論が導かれがちとなる、などが本書から得られる教訓だろう。
・ここで一言、この本では、仮説を立てることの重要性が説かれている。これはその通りなのだが、たとえば経済学の枠組みが揺れ始めている現代には、どのような仮説を立てるか自体が、エコノミストに問われている。こうした仮説設定の問題に関しては、ジュディア・パールの「The Book Of Why]が役に立つ。
(参考）
・Gary Smith,The AI Delusion,Oxford Univ.Press,2018
・Aliya Ram,"Europe's AI start-ups often do not use Aimstudy finds",FT,March 5,2019
・Judia Pearl and Dana Mackenzie ;The Book of Why, Allen Lane,2018