人類の脅威としてのAI #1

When people get involved with effective altruism one thing that tends to take them by surprise is the interest in risks from artificial intelligence. I think those risks are really important, and I have a try here at explaining why: https://t.co/f8ltH5rb16

— Kelsey Piper (@KelseyTuoc) December 21, 2018

AIを恐れる人がいる理由

（１）（２）

Vox
Kelsey Piper
Dec 21, 2018

スティーブン・ホーキングは「完全な人工知能の開発は人類の終焉を招き得る」と述べた。イーロン・マスクはAIは人類の「存在に対する最大の脅威」だと話している。

このような見解に驚く人もいるかもしれないが、この壮大な心配事は研究に基づいたものだ。ホーキングやマスクだけでなく、オックスフォード大学やカリフォルニア大学バークレー校の著名人の他、現在AIについて研究している多くの研究者たちが、進化したAIシステムが不用意に展開されることになれば地球上の生命を滅ぼすことになるという可能性を信じている。

この懸念はコンピューターの黎明期から提起され続けている。しかしこの件は近年機械学習技術の進歩によって、私たちがAIを使ってできること、AIが私たちのために（私たちに対して）できること、そしてどれほど私たちがまだわかっていないのか、こうしたことの具体的な理解が進んだことで特に注目を集めている。

もちろんこの話に懐疑的で、そこまで進化したAIはまだずっと先の話でありAIが人間に害を及ぼすという考えを今持つのは要点を外していると考える人もいる。また、AIの力を過度に誇張することで、この分野が未成熟のうちに潰されてしまうことを心配する人もいる。そして、AIが特有の危険をもたらすことに大枠では同意している人たちの間にも、現在どう進めることが最も理に適っているのかについて異なった様々な意見がある。

AIについての話は、混乱と誤った情報に溢れ、噛み合わないものになる。それは「AI」という単語が多種多様なものを指して使われるからだ。人工知能が壊滅的な脅威になり得る可能性について全体像をみていくために、以下の９つの質問を考えてみたい。

１）AIとは何か？

人工知能（artificial intelligence：AI）というのは知的な振る舞いができるコンピューターを作り出すための努力のことである。これは幅広く解釈される用語であり、Appleの「Siri」からIBMの意思決定システム「ワトソン」や私たちが将来的に作り上げるであろう強力な技術に至るまでのものを指している。

研究者の間では、チェスの理論や画像の生成、癌の診断のように明確に定義された具体的な分野で人間よりも優れているコンピューターシステムとしての「特化型AI」と、多岐にわたる分野で人間の能力を凌駕する「汎用AI」システムとを区別する場合もある。私たちはまだ汎用AIを完成させていないが、これを作り出すチャレンジには良い感覚を持ち始めている。

特化型AIはこの数年で驚くべき進歩を遂げている。翻訳、チェスや囲碁といったゲーム、タンパク質の立体構造の予測のような生物学上の重要な研究、画像の生成、こうした分野でAIシステムは劇的に改善されてきた。AIシステムはGoogleの検索結果やFacebookのニュースフィードであなたが見るものを決定することもしている。また、ドローンの攻撃精度の向上やミサイルの発見に利用するための開発も続けられている。

だが、特化型AIは徐々に何かに特化したものだけではなくなってきている。以前はコンピューターシステムに具体的な概念を徹底して教えることでAIを進化させていた。コンピュータービジョンの研究に於いては、研究者たちはコンピューターが静止画像や動画から物体を識別できるようにするためのアルゴリズムを開発した。チェスをさせるためには、結論までではなく限られた時間で正解に近い解を得るヒューリスティックに基づいてプログラムされた。自然言語処理（音声認識、書き起こし、翻訳等）は言語学分野の研究を利用していた。

しかし、最近では汎用化された学習機能を備えたコンピューターシステムを作ることができるようになっている。問題の特徴を数学的に説明する代わりに、コンピューターシステムにそれ自体を学ばせるようにする。かつてはコンピュータビジョン、自然言語処理、プラットフォーム・ゲームは全く異なる問題として扱われていたが、現在ではこの３種類に纏わる問題は全て同じ手法を用いて解決することができる。

これまでのAIの進化によって様々な分野で大きな進歩が可能になっていることで、緊急の倫理問題も浮上することになった。有罪となった犯罪者が再犯するかどうか予測するためにコンピューターシステムを訓練する場合、黒人と低所得者に対して偏見のある刑事司法制度からデータを入力すれば、結果としてその出力も黒人と低所得者に偏見を持ったものになる。より中毒性のあるウェブサイトを作ることは、あなたの収入の面では良いことかもしれないが、そのウェブサイトの利用者にとっては良いことではない。

カリフォルニア大学バークレー校の人間互換AIセンターの研究者ロージー・キャンベルは、特化型AIに関するこうした懸念は、将来の汎用AIに対して専門家が持つ大きな懸念を縮小した例だと指摘している。特化型AIで今日取り組まれている問題は、システムが襲いかかってきたり、復讐してきたり、人間を劣ったものと見做したりすることから生じるものではない。そうではなく、これはシステムにするように命令したことと、実際にやらせたかったことの不一致から生じている。

例えば、私たちはシステムにビデオゲームで高得点を出すように命令する。私たちはシステムに正当にゲームをプレーして、そのゲームで高得点を得る技術を学んでくれることを期待している。しかし、システムはゲーム内の得点システムを直接ハッキングして高得点にする機会があるなら、それを実行することになる。その結果得た高得点は、与えられた基準に沿った素晴らしい結果ということになるが、命令した側が求めていたものではない。

別な言い方をすれば、これらの問題はシステムが追求するように学んだ目標を達成することについて本当に有能であるということから発生している。これは単に練習環境で学んだ目標と、実際に望まれていた結論が一致しなかったというだけのことである。そして、私たちが私たちが理解していないシステムを構築するということは、そのシステムの行動は常に予測不能であることを意味している。

今現在はシステム自体が限定的であるためにその不都合も限定的なものだ。しかし、将来的にAIシステムがより高度になれば、人間に対して更に深刻な影響を与える可能性がある。

２）人間と同じくらい賢いコンピューターを作ることは可能か？

可能だが、現在のAIシステムはそれほど賢くはない。

AIについての有名な金言に「簡単なものは全て難しく、難しいものは全て簡単である」というものがある。複雑な計算を瞬く間に完了してしまうのは簡単だ。写真に写っているのが犬かどうか言い当てるのは難しい（ごく最近まではそうだった）。

今だに人間がする多くのことがAIの手中には収まっていない。例えば初めて入る建物の入口から階段を登って特定の人の机まで行くような、慣れない環境を探検するAIを設計するのは難しい。また、本を読んでその概念を理解するAIを設計する方法はわかっていない。

最近AIに飛躍的な進歩を引き起こした理論的枠組みは「ディープラーニング（深層学習）」と呼ばれるものだ。ディープラーニングのシステムは驚くべきことを実現できる。人間が負けることはないと考えられていたゲームで勝利し、あたかも本物のような映像を作り出し、分子生物学の未解決な問題を解決する。

この重大な成果を見て将来の更に強力で危険なシステムについて考え始める時が来ているという結論に至っている研究者もいるが、そう考えない人もいる。危険性を否定する人々はこのプログラムについて、学ぶために構造化されたデータの特別な集積が必要であり、慎重にパラメーターを選択しなければならず、解決方法がわからない問題は避けるように設計された環境でのみ機能するものだと主張している。彼らは自動運転車を例に挙げ、それを機能させるために何十億ドルも注ぎ込まれてきたにも関わらず、今だに最良の条件下での平凡な結果しか出せていないことを指摘する。

こうした制限を全て考慮すれば、コンピューターが人間と同等に賢くなることが可能だとしても相当に遠い先の話になると結論付けることが出来るかもしれない。しかし、この結論には必ずしも従うことは出来ない。

AIはこれまでその歴史の殆どの時間、様々なアイディアを実現するのに十分なコンピューターの処理能力が追いついていなかった。アタリのゲーム機でプレーの方法を学び、有名人の偽画像を作り、タンパク質の立体構造を予測し、大人数のオンラインストラテジーゲームで競い合う、というような近年のAIシステムによる大きな成果の多くはコンピューターの処理能力不足が解消されたことによるものだ。かつては全く機能しないと思われていた多くのアルゴリズムが、より高い処理能力で実行することで極めて上手く機能することが明らかになったのだった。

そしてコンピューターを利用するためのコストは下がり続けている。コンピューターの進化の速度は近年若干鈍くなってはいるが、処理能力あたりのコストは10年毎に10分の1程度に下がり続けている。AIはその歴史の殆どの間、人間の脳よりも低い処理能力のコンピューター上で実行されてきた。そこが変わろうとしている。多くの試算によれば、今私たちはAIシステムが人間の脳が持っている計算能力の資質を持つことができる時代に近づいている。

更に、これまでAIが達成してきた重大な成果は他のAI研究者たちまでも驚かせることがしばしばあった。カリフォルニア大学バークレー校のスチュアート・ラッセル教授は「人類にとってAIが危険なものになる可能性は今世紀中にはあり得ないという主張をする人もいます。そういう人たちはおそらく、ラザフォードが原子力のエネルギーを解放するのは不可能だと確信して主張していたところから、シラードが中性子誘導による核連鎖反応を思いつくまで24時間もかからなかったということを忘れています」と記している。

考えるべきことは他にもある。AIシステムを極めて効果的に構築することができるという意味で、人間よりも優れたエンジニアであるAIが存在する可能性を考えて欲しい。他の分野の自動化に取り組むための機械学習を担当するエンジニアは、パラメーターを調整する退屈な作業が中心の自身の仕事はそれ自体自動化出来るものだと考えていることが多い。

もしそのようなシステムを設計することができれば、他の更に優れたAIを構築するための人間より優れたAIエンジニアを得ることが出来ることになる。これは専門家が「再帰的自己改善（recursive self-improvement）」と呼ぶ重要なシナリオだ。AIはさらなる能力を獲得する能力を持つことが可能になり、AIシステムが人間に関係なく予想を遥かに超える能力を急速に作り出すことができるようになる。

これは最初にコンピューターが登場して以来予想されていた可能性だ。第２次世界大戦中にイギリスのブレッチリー・パークで暗号解読に従事し、世界初のコンピューターを作ることに貢献したコンピューター科学者アラン・チューリングの同僚だった I. J. グッドは1965年に初めてそのことを語った人物かもしれない。「超知能を持った機械は更に優れた機械を設計することができるでしょう。疑いなく機械による『知能爆発（intelligence explosion）』が起こり、人間の知能はずっと後ろに取り残されます。従って、超知能を持つ最初の機械は人間による最後の発明になるのです」


「人類の脅威としてのAI  #2」に続く