私たちはどのように操作されているのか

This is how you're being manipulated https://t.co/hpC4x97RQA pic.twitter.com/EhsPflUXCi

— Gizmodo (@Gizmodo) June 25, 2019

「良いね」や「フォロワー」の数を提示することで利用者を他の利用者の気を引くことの中毒にさせることは、プラットフォームが利用者の気を引くよりもずっと安上がりで簡単なこと。

Gizmodo
Bryan Menegus
6/25/19

今日（2019/6/25）アメリカ上院議会で行われた予備公聴会は、テクノロジーの説得性（persuasiveness）が議題になっていた、人々を夢中にさせ利用させ続けるために中毒性を作り出すというインターフェイスの設計方法についてだ。非営利組織であるCenter for Humane Technologyを主導するトリスタン・ハリスは議員たちに対して、ルール作りは重要なことだが、最初に公衆に気づいてもらう必要があることを述べた。アルゴリズムと機械学習は恐るべき複雑さを持ったもので、これらについて考えることはうんざりさせられる。「私が最近学んだことは人に話す時に『これはあなたにとって悪いことです』と言い始めると話を聞いてもらえないということです」とハリスは述べている。「『これがあなたを操作する方法なのです』と説明するとしても、誰も自分が操作されているなどとは感じさせられたくないでしょう」

ハリスはスタンフォード大学で（もちろん技術的な意味での）説得性を研究していた。この日は数名の参考人が話をしたが、その大部分はハリスが話していた。以下にその話を引いてみたい。

では、私たちが毎日何百回と行う単純なことについて、殆ど無意識で無害に見えることについて考えてみよう。ハリスは以下のように言う。

このことは「引き下げて更新」のような機能から始まります。これは表示されているニュースフィードを指で下にスライドして放すことで更新する技術ですが、スロットマシンのように動作しています。ラスベガスで人々を夢中にさせるのと同じ種類の中毒性があるのです。別な例としては止めるきっかけを排除することです。グラスの底を抜いてしまい、そこに水やワインを補充し続けるのです。そうなると飲む人はいつまでも飲み続けることになります。それがニュースフィードの無限スクロールで起きていることです。

もちろん、ソーシャルメディア・プラットフォームの中毒性は所謂ネットワーク効果の産物でもある。既にどれだけ多くの人が参加しているかに基づいて指数関数的に勢いが拡大してゆく。

（「良いね」や「フォロワー」の数を提示することで）利用者を他の利用者の気を引くことの中毒にさせることは、プラットフォームが利用者の気を引くよりもずっと安上がりで簡単なことでした。

［中略］

それぞれのプロフィールには「フォロー」ボタンが付いています。ここにはそれほど狡猾なものが潜んでいるようには見えません。お互いの行動をフォローする方法を提供しているだけです。ですが、ここで実際に試みられているのは、自分のフォロワーの数が昨日より増えているのかどうか確認するために毎日ここを見に戻ってくるようにすることです。

このエコシステムの中にいる時間が長くなればなるほど、機械学習システムはその利用者の好みに合わせて正確な最適化を進めることができる。

あなたがアクセスを開始した瞬間に、Googleのサーバの中にあるブードゥー教の人形のようなあなたの分身が呼び起こされるのです。この分身はそれまでに記録されたあなたの全てのクリックや「良いね」などに基づいて作られています。この分身は更なるクリックや「良いね」などによって磨かれて髪型や爪を整えてあなたの姿に近づいていき、あなたのように振る舞うようになるのです。それによってGoogleのサーバの中では、「この動画をこの人に見せたらどのくらいの時間滞在してくれるだろう？」という形のシミュレーションをより多くの可能性について実行できるようになるのです。

調査研究や個人的な経験から学んできたことから考えると、ソーシャルメディア・プラットフォームが利用者を夢中にさせるためにすること、そして夢中になっていることそのものからも外部に良くない影響を少なからず与えているようだ。

これは、ある利用者に何を見せれば最も気に入って夢中にさせることができるかを計算しているのです。同時に、このことはどのような怒り、義憤がその人を最も夢中にさせるかも明らかにします。ある調査によると、道徳的な憤怒を呼び起こすような単語をツイートに含めると、リツイートされる可能性が17%増加することが明らかにされています。別な言い方をすれば、私たちの社会の分断は実際にはビジネスモデルの一部とされているのです。［中略］最近の1ヶ月にYouTubeで表示された「おすすめ動画」の中で最も頻繁に言及されている動詞やキーワードの上位15語を調べてみると、憎悪（hates）、暴く（debunks）、全滅（obliterates）、破壊（destroys）といった言葉が含まれています。これは、私たち20億人が浴びせ続けられている環境放射線のようなものです。

［中略］

YouTubeの動画を分類して横並びにしたと想像して見ましょう。一番左側は落ち着きのある側で、伝説的ジャーナリストであるウォルター・クロンカイトについてのコーナーなどがあります。右側に行くと徐々にクレイジーなものになっていきます、ずっと右側にはUFOの陰謀論、ビッグフットの目撃情報などがあります。［中略］私がYouTubeだとして、どちらの方向性を利用者に見て欲しいと考えるでしょうか？ 私は絶対に左の落ち着いた側に利用者を誘導しようとはしません、常に狂気の側に送り込もうとします。ですから、20億の人類がアリの巣のようになっている場所にいることを想像して下さい、そしてそれが狂気に向かって行進しているのです。

更に悪いことに、これは驚くほど上手く機能している。特にYouTubeはこの種のアルゴリズムで強化された推奨機能によって、利用率の70%を稼いでいる。人々が得る情報は壊滅的に粗悪なものになっているが、このアルゴリズムの実装はツイートやYouTubeビデオに限られたものではない。AI Now Instituteの政策調査主任ラシダ・リチャードソンは次のように話している。

これらのシステムの多くが抱えている問題は、それらが基づいているデータセットからくるものです。そのデータセットは現在の状況を反映したものなので、私たちの状況に不均衡があることを示しています。［中略］Amazonの職員採用アルゴリズムは性別によって異なる結果を出すことが明らかにされました、これはこのアルゴリズムが既存の採用慣行から学んだためです。

［中略］

こうしたアルゴリズムは、子どもたちがどの学校へ通うのか、ある人は医療補助を受けるべきなのかどうか、誰を裁判の前に勾留するべきなのか、私たちに見せるべきニュースはどれか、どの求職者が面接を受けて然るべきか、こうしたことを決定するのに使われています。［中略］これらのアルゴリズムは元来少数の有力企業によって開発されて配備されているため、こうした会社の価値観、インセンティブ、興味によって形作られています。殆どのテクノロジー企業は、自社の製品が幅広く社会的な利益に繋がることを約束していますが、その主張を裏付ける証拠は殆どありません。そして実際の証拠はその反対を示しているのです。

そして、利用者がこうしたシステムから離れようとしても、そのこともできる限り難しくなるように作られている。ハリスがFacebookを例にその説明をしている。

「Facebookのアカウントを削除したい」と考えてそうしようとすると、画面には「本当にFacebookアカウントを削除してよろしいですか、あなたの友達たちは寂しく思うでしょう」という画面と共に５人の友達の写真が表示されます。さて、この表示は私のことを誰が寂しく思ってくれそうか私自身が尋ねた結果でしょうか？ そうではありません。ではFacebookがこの友人たちに私が去ったら寂しく思うか尋ねてくれたのでしょうか？ それも違います。ここに表示されるのは私がアカウント削除のダイアログで「キャンセル」を選択する可能性を最も高くするように計算された人たちの顔なのです。

さらに、こうしたシステムが力を持つためのデータの多くは、収集するために利用者の無意識の同意さえ必要としない。ハリスは次のように述べている。

本人のデータが存在しなくても、AIを用いればその人について特徴を予測をするのは可能なのです。最近公開された論文では、事前のデータなしにケンブリッジ・アナリティカが掴んでいたのと同じ5つの個人特性を80%の精度で予測できるとされています。ツイートされえたテキストを元に、マウスの動きとクリックのパターンだけに基づいて、政治的な指向を約80%の正確性で知ることができるのです。また、コンピューターは、利用者が自分が同性愛者だと知る前に、その人が同性愛者であることを知ることができます。IBMの研究によれば、95%の正確性で仕事を辞めようとしている人を予測できます。さらに妊娠についても予測が可能です。

「計算知能」ウルフラム・アルファの開発で知られるスティーブン・ウルフラムもこの公聴会に参加している。彼は、アルゴリズムの透明性についての全体の前提が根本的にこうしたテクノロジーの動き方に関して誤った理解につながっていることを説明した。

私たちがこうしたプログラムの内部に目を向けようとしても、残念ながら通常は人間が理解できることは殆どありません。そしてここに本当の問題があります。説明可能性を重視すれば、コンピューターを利用したシステムやAIのパワーを限界まで引き出すことはできない、というのは基礎的な科学の話です。［中略］私はこのことに関して純粋に技術的な解決策を思いつきません。

事態の悪化を要約するために、ハリスは巨大テクノロジー企業をカルト指導者に例えている。

私たちの人間関係の中には非対称的な力関係が前提になっているものがあり、そこには善管注意義務と呼ばれるものがあります。医者、聖職者、弁護士との関係で適用されるものです。聖職者が告解の部屋への来訪することを売りにしてお金を稼いでいる世界を考えて下さい。Facebookは20億人の告解を聞いています。更に隣にはスーパーコンピュータが会って、人がしようとしている告解を計算して本人が実行する前に予測してみせるのです。

今回の公聴会で特に印象的だった発言があった。それは参加したテクノロジー専門家から出た不幸な予言ではなく、モンタナ州選出のジョン・テスター議員の言葉だった。

そんなことが全て実現する時には、おそらく私は既に死んでいます。たぶんそれに感謝することになるんじゃないですかね。

ハリス、リチャードソン、ウルフラムは、利用者の信頼が乱用された例をいくつも挙げ、こうした技術が一般の疑い深くないアメリカ人の生活に悪影響を与えている研究を示した。その話を聞いた上院議員が私たちが現在築いている未来に生きるよりも死ぬ方を好ましいと発言したことには大きな意味があるだろう。