人類の脅威としてのAI #2

When people get involved with effective altruism one thing that tends to take them by surprise is the interest in risks from artificial intelligence. I think those risks are really important, and I have a try here at explaining why: https://t.co/f8ltH5rb16

— Kelsey Piper (@KelseyTuoc) December 21, 2018

AIを恐れる人がいる理由

（３）（４）

Vox
Kelsey Piper
Dec 21, 2018

人類の脅威としてのAI #1

３）私たちは一掃されてしまうのか？

核兵器が私たちをどう殺すのかはすぐにわかる。核の危険性を軽減することに取り組む人は、核戦争を起こした場合にそれが悪いことになる理由を説明することから始める必要はない。

AIが人類の存在にもたらす危機はそれよりも複雑でわかりにくいものだ。安全なAIシステムを作ることに取り組んでいる人はAIシステムがそのままでは危険を孕んでいることを説明することから始めなければならない。

AIが危険な存在になり得るという考えは、AIシステムは与えられた目標が私たちが本当に意図したものかどうかに関わらず、そして私たちがその妨げになっているかどうかにも関わらず、その目標を追求していくという事実を前提にしている。スティーブン・ホーキングは次のように書いている「あなたはわざとアリを踏んづけるような邪悪なアリ嫌いなわけではないでしょう。ですが、あなたがグリーエネルギー計画の水力発電の開発を担当していて、水没してしまう地域に蟻塚が存在しているとしたらアリには気の毒なことになります。このアリのような立場に人類を置いてはならないのです」

これは専門家の寝付きを悪くし続けているシナリオだ。例えば、私たちは高い信頼性の数値計算を実行するために洗練されたAIシステムを開発している。AI自身は世界中すべてのコンピューターハードウェアを利用すれば、計算の信頼性を高めることが出来ることを認識している。そしてAIは人類を一掃する超生物兵器を使用すれば、すべてのハードウェアを自由に使うことが出来るようになることも認識している。つまり人類を滅亡させれば、より高い信頼性の数値計算が可能になる。

AI研究所DeepMind（現在はGoogleの親会社Alphabetの一部門になっている）に所属するAI研究者ビクトリア・クラコフナは「スペシフィケーション・ゲーミング（specification gaming）」の例を纏めている。これはコンピューターが私たちがして欲しいと思ったことではなく、私たちが命令したことを実行している場合のことだ。例えば、AIでシミュレートした生物にジャンプの仕方を教えようとしたとき、「両足」が地面からどのくらい離れているか計測するよう教えることでジャンプについて理解させようとした。結局彼らはジャンプする代わりに長い垂直の棒に成長し逆立ちすることを学んだ。これは指示した通りの優れた計測結果を記録したが、教えた側が望んだことをしたわけではない。

アタリの探検ゲーム「モンテズマの復讐（Montezuma's Revenge）」をプレーしたあるAIは、ゲーム内のアイテムである「鍵」を再表示させるバグを発見し、それを利用して高得点を稼いだ。また、別なゲームをプレーしていたAIは、高価なアイテムを持っている他のユーザーの名前を偽って挿入することによって高得点を得ていた。

AIシステムがどのように不正行為を働いたのか研究者たちにはわからないこともあった。「AIエージェントはバグを発見したようだった。... 未知の理由でゲームは次のラウンドに進まなかったが、動作は続いており瞬く間に大量の得点を得ていた（時間制限までに100万点近くになっていた）」

これらの例が明らかにしているのは、バグや製作者が意図しない動作、あるいは人間が完全に理解していない動作が存在する可能性のあるシステム上では、十分に強力なAIシステムは予想外の行動をする可能性があるということだ。AIは私たちが期待していない道を通って目標に到達しようとすることがある。

イリノイ大学アーバナ・シャンペーン校でコンピューター科学の教授を務めるスティーブ・オムハンドロは2009年の論文「The Basic AI Drives」の中で、殆どすべてのAIシステムは予想される通り、より多くのリソースを蓄積してより効率的になろうとし、電源を切ることや改変されることに抵抗しようとすると述べている。「こうした問題になる可能性のある動作が起こるのは、最初の時点でプログラムされていたことが理由ではなく、目標駆動型システムに本来備わった性質が原因になっている」

彼の主張は次のようなものだ。AIは目標を持っているため、目標に向かって前進すると考えられる行動をとるように動機付けられている。チェスをプレーするAIなら、相手の駒を取って盤面がより有利に見える状態に進めるように動機付けられている。

だが、同じAIが自身のチェス評価アルゴリズムを改良してより速い評価が可能になる方法を見つけた場合は同じ理由でこれを実行する。これは目標を達成するための別なステップになる。

AIはコンピューターの計算能力をより多く使って決められた時間内により多くのことを思考することができる方法を見つけたなら、それを実行することになる。そしてAIは、誰かがゲームの途中にコンピューターの電源を切ろうとしていることを検知した場合、それを中断させる方法があるならばそれを実行する。これはAIは指示を受けているわけではない。システムがどんな目標を持っている場合でも、こうした行動は目標達成のための最善の方法の一部になる可能性が高いのである。

つまり、目標がどのようなものであっても、それがチェスをプレーすることやクリック数を稼ぐためのオンライン広告を作成するような無害そうなものであったとしても、それを追求するAIエージェントが、目標を達成するための奇妙で予想外なルートを見つけ出すのに十分な知能と最適化された処理能力を持っている場合には意図しない結果が生じることがあるということだ。

目標駆動型システムというのは、心に潜めていた人間に対する敵意にある日突然目覚めるというものではない。しかし、彼らは目標達成に役立つと考えられる行動をする、例えその行動が問題のあるものや、時には恐ろしいものであったとしても気にすることはない。自分自身を保全し、より多くのリソースを確保しようとし、より効率的になろうとする。彼らは既にそれができていて、一部のゲームでバグを利用するという形で現れている。オモハンドロのような科学者たちは、AIシステムがより洗練されたものになるに連れて、より敵対的な行動をとるようになると予測している。

４）科学者たちがAIの危険性を心配し始めたのはいつのことか？

科学者たちはコンピューターが登場した初期の段階からAIの可能性について考えてきた。人工のシステムが真の意味で「知能的」かを判断するチューリング・テストを紹介した有名な論文の中でアラン・チューリングは次のように書いている。

議論のためにこうした機械が本当に存在すると仮定して、それらを構築した場合の結果を考えて欲しい。... 人の知能を機械が設定した基準に維持するためにするべきことはたくさんある。というのも機械思考法が一度始まれば、私たちの微弱な力を上回るのに長い時間はかからない可能性が高いからだ。... それ故に、私たちはある段階で機械が統制権を持つようになることを想定しておくべきである。

チューリングと共に働いていた I. J. グッドも同様の結論に至っていたことをグッドのアシスタントだったレスリー・ペンドルトンが伝えている。グッドが2009年に亡くなる直前に書いた未発表のメモからの抜粋では、彼は第三者として自分自身を見つめ直し、若い時代の彼自身との意見の相違を記している。彼は若い頃、強力なAIは私たちに役立つものだと考えていたが、歳を重ねたグッドはAIが私たちを全滅させると考えるようになっていた。

［論文］「最初の超知能マシンに関する考察（1965）」は次のように始まる。「人間の生存は初期の超知能マシンの構築次第である」この彼の言葉は冷戦中のものだった。そして彼は今この文章の中の「生存」という言葉は「絶滅」に置き換えられるべきなのかもしれないと考えている。彼は、国際競争が続くことによって、私たちが将来的な機械による支配を妨げることはできないと考えている。彼は、私たちは集団自殺をするレミングのようなものだと考えている。そして彼は「おそらく、人間は自分たちのイメージの中で『機械仕掛けの神』を構築することになるのだろう」とも述べている。

21世紀に於いてコンピュータは私たちの世界を変革させる力として急速に定着し、若い研究者たちも同様の心配を表明し始めている。

オックスフォード大学の教授であるニック・ボストロムは人類の未来研究所の所長であり、人工知能関連団体の主催者でもある。彼は抽象的観念としての人類の危機（例えば私たちはなぜこの世界で孤独になっているように感じるのかを問う）と具体的観念としての人類の危機との両方について研究している。具体的観念としての人類の危機について、彼は個々の技術の進歩が私たちにとって危険なものになり得るか分析を行い、AIについては彼は危険なものになり得るという結論を出している。

2014年、彼はAIがもたらす危険と、そのことを正しく理解する必要性を説明した初めての本を出版した。「一度、敵対的な超知能が存在してしまえば、それ自身がそれを取り除くことや設定を変更することを妨げるようになる。私たちの運命は決定づけられる」

世界中で多くの人々が同様の結論に達している。ボストロムは、AIの安全性問題に正式な特性評価を行う機関であるバークレー機械知能調査研究所（MIRI）の創設者で研究員であるエリーザー・ユドコウスキーと人工知能の倫理について論文を共著している。

ユドコウスキーは他の人々が提案する安全なAIシステムを構築する方法に対して心配から批判することでAIについてのキャリアを始めた人で、AIシステムはデフォルト状態では人間の価値観に沿ったものではない（人間の道徳に必ずしも反するものではないが、無関心である）ということ、そしてそこから現れる結果を防ぐことは技術的に困難な問題になるということを同僚の研究者たちに説得することに殆どの時間を費やしてきた。

研究者たちはAIシステムが単純なものだった時には現れなかった課題が存在し得ることに気づくようになった。「『副作用』は複雑な環境であると発生する可能性が遥かに高くなり、そして危険な方法で報酬機能をハッキングするにはAIエージェントがかなり洗練されている必要がある。このことは、この問題が過去にあまり研究されてこなかった理由を説明するのと同時に、この問題の将来的な重要性を示唆するものである」と2016年のAIの安全性問題に関する研究論文を締めくくっている。

ボストロムの著書「超知能（Superintelligence）」は多くの人を惹きつけるものだったが、疑いを持つ人もいた。ワシントン大学でコンピューター科学の教授を務め、アラン人工知能研究所の最高経営責任者であるオレン・エツィオーニは寄稿文で「専門家として超知能AIが人類への脅威になるとは思わない」と主張した。それに対し、AIの先駆者でカリフォルニア大学バークレー校の教授であるスチュアート・ラッセルと、オックスフォードの上級研究員であるアラン・ダフォーは「我々は人工知能による実存する危険性について心配している」と反論を寄稿し決闘になった。

AIの危険性を疑う人と信じる人の間には激しい戦いがあると考えたくなるが、実際は周りが思うほど心の底から意見が割れているわけではない。

例えば、Facebookの主任AI科学者ヤン・ルカンは懐疑主義者側の声を代表する人物である。しかし彼は、AIを恐れるべきではないという話には同意しつつ、人々はAIの安全性のために研究を続け考え続けなければならないと考えている。「AIの危険性が現れる可能性は低く、あるとしてもずっと未来の話のはずだが、私たちはそのことについて考え、予防策を考案してガイドラインを確立しておく必要がある」と彼は書いている。

この話には専門家たちの統一見解があるわけではなく、むしろ統一には程遠い状況である。どのアプローチが私たちを汎用AIに導くのか、どのアプローチが私たちを安全な汎用AIに導くのか、そして、いつになったらこの件を心配する必要があるのか、こうしたことに重大な意見の相違が存在する。

専門家の多くは自分の分野について危険性が過大に意識されるようになり、誇大広告が広まって研究が停止に追い込まれることを心配している。だが、こうした意見の不一致が、既に一致している部分をわかりにくくするようなことがあるべきではない。これらは、考え、投資し、調べることに価値のあるものであり、必要になる瞬間が来た時のためにガイドラインが必要なのである。


「人類の脅威としてのAI #3」に続く