アマゾンが性差別で取り下げた採用アルゴリズムはそれでも人間よりはマシかも知れない

Amazon's sexist hiring algorithm could still be better than a human https://t.co/4qsU7gte22

— The Conversation (@ConversationUK) November 2, 2018

仮にアルゴリズムが偏見を持っていたとしても、現在の状況よりは改善されている可能性もある。

The Conversation
Maude Lavanchy
November 1, 2018

アマゾンは実験的に利用していた人工知能（AI）による職員採用システムが女性に対して差別的な対応をしていることが明らかになった後にこれを取り下げる決断をしている。同社はウェブ上を探し回り候補者を見つけ、星１つから５つまでに評価するツールを作り上げた。しかし、このアルゴリズムはシステム的にソフトウェア開発者のような技術職について女性の履歴を低く評価するように学習してしまった。

アマゾンは AI 技術では最先端を行く企業だが、自分たちの作ったアルゴリズムを性的に中立にさせる方法を見つけることができなかった。しかし、同社のこの失敗は私たちに AI というのは様々な情報源から偏見を持つものであることを思い出させてくれた。一般的にはアルゴリズムには人間が判断するときのような偏見や先入観は存在しないと信じられているが、実際はアルゴリズムが意図せず様々な異なる情報源から偏見を学んでしまう可能性はある。AI を訓練するために使われるあらゆるデータから AI を利用する人間まで、あるいは全く無関係に見えるような要素も AI が偏見を持つことの原因になる可能性がある。



AI のアルゴリズムは膨大なデータセットから結果を予測するためのパターンを見つけ出して訓練される。アマゾンのケースではアルゴリズムが同社が過去10年の間に扱った全ての履歴書を使って理想的な採用候補者を見つける方法を学ぶようなになっていた。アマゾンでは他のテクノロジー企業と同様に働いている女性が割合的に少なく、アルゴリズムはすばやく男性が支配的であることを発見してそれが成功の要素になっていると考えたのだった。

こうしたアルゴリズムは自身の予測の結果を用いて正確性を改善させていくようにできているために、女性の採用候補者に対する差別のパターンを持ったまま行き詰まったしまった。そしてここで学習に使われたデータはある時点で人間によって作られてものである以上、このアルゴリズムの結果は長年に渡り問題になっていた偏見や差別といった厄介な人間の問題を引き継いだことを意味している。

アルゴリズムによってはユーザーが望む結果を提供するように設計されているものも存在する。例えばソーシャルメディアやオンライン広告でよく見られるもので、アルゴリズムはユーザーが見たがっていると信じた広告やコンテンツをユーザーに向けて表示する。これと似たパターンのものは人材紹介サービス業界でも使われているという。

人材を募集している側が職業向けのソーシャルネットワークを使って採用候補者を発見する場合、AI は彼にそれまでに採用した候補者と最も似ている履歴の候補者を表示するように学んでいる。結果として、候補者になる可能性のある殆どの人々はシステム上の都合でこうした採用活動には全く関わることがないことになる。

一方で、偏見は他の全く無関係なことが原因で現れる場合もある。最近の研究によれば STEM（科学、技術、工学、数学）分野の仕事の広告が男性に対して表示される可能性が高いのは、男性がそれをクリックする可能性が高いからではなく、一般に広告価値が女性に対する方が高いからだという。企業が広告を売買する場合、女性をターゲットにしたものの方が高価になる（女性は一般消費者による購入の70%〜80%を占める）ために、アルゴリズムが広告コストを抑えるように最適化されて設計されている場合、女性よりも男性の方を選んで広告を配信するようになる。

だが、アルゴリズムは、ユーザーが好むもの、市場で起こっている経済的な動勢といった人間から与えられたデータを反映しているだけなのだとすれば、私たちの良くない行いを引き継いでいることを非難するのは不公平なことではないだろうか？私たちはアルゴリズムが人間には難しい差別なしの判断を自動的に下すことができることを期待している。仮にアルゴリズムが偏見を持っていたとしても、現在の状況よりは改善されている可能性もある。

AI の利用から十分な有効性を得るために重要なことは人間の介在なしに AI に判断を任せた場合に起きることを研究することだ。2018年のある研究では、過去の犯罪についてのデータを利用して学習するアルゴリズムを使って再犯の可能性を予測し、保釈について判断する研究が行われた。その研究についての見解の1つとして、刑務所内の受刑者に対する差別の実例を減らしつつ、犯罪率を25%削減することができたと報告されている。

しかしこの研究で強調された有効性はアルゴリズムが実際に全ての判断を行った場合にのみ発生するものだ。これは裁判官がアルゴリズムの推奨に従った判断を好むかどうかを考えれば、実際の社会の中で起こる可能性は低い。アルゴリズムが上手く設計されていたとしても、人々がそれに頼らない選択をすれば有効なものにはならない。

私たちの多くは、ネットフリックスで何を見るかやアマゾンで何を買うかといった日常生活の中の判断で既にアルゴリズムに依存している。しかし、研究によると人間は、アルゴリズムが失敗を犯した場合、人間が失敗した場合よりも早くアルゴリズムに対する信頼を失う傾向にある。全体としてはアルゴリズムの方がよく機能していたとしてもそうなることが示されている。

例えば、GPS が渋滞を避けるために提案してきた迂回路に従った結果、予定より時間がかかってしまった場合、今後は GPS に頼るのを止めようと考える可能性が高い。しかし、仮にこの迂回路が自分の判断だった場合は、今後は自分の判断を信じるのは止めようと考える人は少ないだろう。その後続けられたアルゴリズムに対する拒否感についての研究では、人々はアルゴリズムが自身で改善のために変更を加える機会があれば、不完全に動作していたとしてもアルゴリズムを利用することとアルゴリズムによるエラーについても受け入れる可能性が高くなるという。

人間はアルゴリズムについて問題があればすぐに信頼を失う一方で、多くの人は人間的な機能を持っている機械のことを信頼する傾向にある。自動運転車に関する研究では、自動車を制御するシステムに名前がついていて、性別が設定されていて、人間のような声で話すものであると、人間はそれがより良く機能すると信じる傾向があるのだという。しかし、それがあまりにも（完璧にではなく）人間に近くなり過ぎたものになると、人はそれを不気味だと考えるようになり信頼にも影響を与える。

私たちは、アルゴリズムが私たちの社会を反映したものであることを評価する必要性を考えていないにも関わらず、アルゴリズムと共に生活し、これらが見た目も行動も自分たちのようになることを願っている。そうであるなら、アルゴリズムも人間と同じ間違いを犯すことになるのは当然ではないだろうか。