信用スコアの光と影 憲法学者・山本龍彦が警告する「バーチャルスラム」の恐怖

  • NEXT GENERATION BANK 次世代銀行は世界をこう変える
  • 2018年12月20日

写真・平松市聖

『WIRED』日本版編集長退任後、若林恵が立ち上げたコンテンツ・レーベル 黒鳥社から、次世代ビジネスカルチャームック「NEXT GENERATION BANK 次世代銀行は世界をこう変える」が刊行された。

先日実施した若林へのインタビュー後編で話題に上がったトピックのうち、中国のアリババから始まり、日本企業も導入を進めている「信用スコア」について、慶應義塾大学大学院法務研究科(法科大学院)山本龍彦教授の論考を、本誌より特別掲載する。

テクノロジーが内包する「ジェンダー」の課題

2018年の10月10日に、こんなニュースを目にした。ヤフーが「信用スコア」事業に参入し、「Yahoo! JAPAN ID」に紐づいたユーザーの情報を分析して算出したスコアをパートナー企業と連携して利用することを明かしたというニュースだ。

個々のIDと結び付いた購買履歴、検索履歴、性別などの属性情報を、独自の基準で分析し、100点満点のスコアを算出するという。2018年内に本格的に事業をスタートさせる計画だが、それまでは特定の企業と実証実験を行い、スコアの有用性などを検証するとされる。シェアリングサービスの分野で、スコアに基づき申し込み時の手続きを簡略化、保証金を免除するといった活用を見込むほか、実証実験では、アスクル、ソフトバンク、コスモ石油マーケティング、シェアサイクルサービスを手掛けるOpenStreet、ホテル・旅館などの予約サービスを提供する一休など、合計12社が参加する。

こんなニュースもある。ロイター通信の2018年10月11日付の報道だ。Amazonは14年に、就職希望者に対して1つ星から5つ星でランク付けをする自動システムの開発に着手したが、このシステムが技術職において男性志願者を優遇していることが分かり、17年に廃止したというのだ。このAIツールは、Amazonがそれまで10年間にわたって受け取ってきた履歴書のデータを元に訓練された。テクノロジー産業は男性優位分野であるため、履歴書の大部分は男性から送られてきており、システムは意図せずして、男性志願者を女性志願者よりも優先して選ぶように訓練され、報道によれば、「女性の」という言葉や、特定の女子大の名前を含む履歴書を減点するようになっていた。Amazonは、システムがこれらの条件を中立なものとして判断するように変更を加えたものの、プログラムが他のあらゆる分野において本当に性別に対する偏りがないか、自信をもてなくなったと語っている。

広がる格差

わたしたちはAIをバイアスがないものとして扱うことはできない。バイアスのあるデータでシステムを訓練すれば、アルゴリズムもまたバイアスを含むことになる。もし、今回のような公平性を欠いたAI人材採用プログラムが導入前に明るみにならなければ、ビジネスに長年根付いている多様性の問題の数々は解決されず、むしろ固定化されてしまう。

「21世紀の石油」とまでいわれ、今後のデジタル経済の主たる資源として多方面での利活用が期待される「個人データ」は、その扱いをめぐってさまざまな問題が噴出している。冒頭で紹介した「信用情報」を、日本よりもはるかにラジカルなかたちで利用している中国の状況を見てみよう。

Alibaba傘下の信用情報機関である「ジーマクレジット」(芝麻信用)は、決済アプリ「アリペイ」の購入履歴やSNSデータ、資産保有情報などを分析し、個人の信用力を950点満点で採点する。この「信用力スコア」は、官民を跨いださまざまな領域で使われている。スコアが高い人は低金利でローンを組めたり、賃貸物件の契約で敷金が不要になったり、外国の観光ビザが取得しやすくなったりするなど、さまざまな便益を享受できるため富裕層は喜んでこれを利用する。

写真・Getty Images

使えば使うほど生活がスマート化されていくことで得る利益は大きい。その一方で、こうしたスコアの運用の仕方を誤ると、スコアが低い人は、あらゆる場面で差別的な扱いを受け、下層から這い上がることが困難になるといったことが起こりうる。裕福な人は上昇スパイラルに乗ってどんどん上昇していくが、いったん低いスコアをつけられるとダウンスパイラルに乗ってますます利便から遠ざかってしまう。「信用スコア」は、「バーチャルスラム」と呼ぶべき状況を生み出す危険がある。

見えないゲート

信用スコアには、もちろん、いくつものポジティブな側面がある。効率化による余暇の増大。取引の安全。信用を落としたくないがためにみながスコアを落とす行動を抑えるようになる「規範の内面化」を通して、社会の安全も増大する。けれども同時にネガティブな側面も多くあることは忘れられてはならない。

デジタルデータが永続的にインターネット上に残ることで、学習データに含まれるバイアスがAIの下す判断のなかに承継され、過去の差別が再生産されることがある。また、AI社会では、自分という存在がデータ上に良く現れる必要がある。不断の監視からくる疲労が社会に蔓延することで、みなが安全に振る舞うばかりの予定調和的で無気力な社会が実現することにもなってしまう。これは経済にとって大きなマイナスにもなる。

また、上に記したバーチャルスラムの出現という問題もある。これは、スコアリングがブラックボックス化されることで、評価の低い人たちをその状態にとどめおき、社会的に排除される可能性を助長する。さらに遺伝情報とAIの相性の良さは、自らの力では変更・修正できない属性による選別を引き起こしうる。「生まれによる差別」は現代の社会においては否定されているが、それが新しい優生思想を胚胎する可能性も否定はできない。信用スコアは多くの幸福を生み出す一方で、ゲートの見えないゲーテッドコミュニティのようなものとなるかもしれないのだ。

21世紀の「人権宣言」

そうしたなか自動処理のみに基づいて重要な決定を下されない権利や、説明を受ける権利などを明記し、データに対する個人の主導性を謳ったGDPR(一般データ保護規則)は、21世紀の新しい「人権宣言」ともいうべき意味をもっている。

アメリカでも「FCRA」(Fair Credit Reporting Act、公正信用報告法)という法律を、与信・雇用・保険・住宅供給に関する決定をなすために利用される消費者情報を販売する消費者報告機関にも適用しようという動きがある。FCRAは、消費者報告の正確性を担保するための合理的手続を整備することを消費者信用機関に課し、消費者に対して、その情報に対するアクセス権と過誤を訂正する権利を保障している。また、ネガティブ情報は通常7年、破産宣告なら10年以上経過したものは提供してはならないなどと定めている。さらに、消費者報告を用いる企業にも一定の義務を負わせている。

またカリフォルニア州が2018年に定めた消費者プライバシー法(California Consumer Privacy Act 2018)は、個人に関する「推測的な情報」(inference)を「個人情報」のうちに包含すると定め、そうした情報に対してユーザーは、開示請求や消去請求、販売中止請求を行うことができるとした。

山本編著によるAIと法をめぐる最新論考集『AIと憲法』(日本経済新聞出版社) 写真・平松市聖

適正なバランス

残念ながら日本では、データ活用のポジティブな側面が語られることはあっても、こうしたネガティブな側面が議論される機会はまだまだ少ない。データの利活用をめぐる「透明性」「アカウンタビリティ」「公正さ」「スコアの正確性」「効率性」のバランスをいかに実現するのか。これらの要件すべてが十全に満たされることはない。透明性や公正さを高めることで、効率性が損なわれるといったトレードオフの関係になることもあるため、その適正なバランスがどこにあるのか、より慎重な判断が必要となる。それは同時に、スコアに対する個人の主体性、コントロール可能性を、いかに、どの程度確保するかという課題とも重なっている。

また、日米欧でデータ交易圏をつくりあげる構想がはじまっていると報道されてもいる。データの利活用をめぐるルールの国際化が避けられない趨勢となるならば、日本企業も、今後ますます厳格な国際ルールに則った対応が求められることになる。むやみに個人情報を収集したりやり取りすることは、セキュリティのコストを高めるだけでなく、法的リスクを増大させることにもなることを企業は留意しておくべきだろう。なにが本当に必要な情報なのかを見定め、不必要な情報は取らないなど、個人情報をめぐる適切なガバナンスが求められる。そして最も重要なことは、そうした個人データの利活用が一部の人間のみではなく、あらゆる個人をエンパワーするものでなくてはならない、ということだ。

スーパーシティはオープンになれるか

2018年10月16日付の日経新聞は、AIやビッグデータを活用したまちづくりが、国家戦略特区や自治体で検討されはじめたことを伝えている。片山さつき地方創生相によって「スーパーシティ」と仮称されたそれらの特区では、エネルギー対策から、キャッシュレス、自動運転技術、遠隔診療へのAIの応用が検討されているという。構想自体に問題があるとは思わない。これから訪れるスコア社会は必然的な方向であって、それを止めるべきでもないだろう。けれども、AIとデータによって駆動された「スーパーシティ」が、「ゲートの見えないゲーテッドコミュニティ」(排除的社会)にならないために考えなくてはならないことは、すでに山積みとなっている。

(「NEXT GENERATION BANK 次世代銀行は世界をこう変える」より転載、文中敬称略)

山本龍彦(やまもと・たつひこ)

慶應義塾大学大学院法務研究科(法科大学院)教授。慶應義塾大学グローバルリサーチインスティテュート(KGRI)副所長。総務省「AIネットワーク社会推進会議」構成員、内閣府消費者委員会専門委員(オンラインプラットフォームにおける取引の在り方に関する専門調査会)、経済産業省・公正取引委員会・総務省「デジタルプラットフォーマーを巡る取引環境整備に関する検討会」委員を務めるほか、主な著書に、『憲法学のゆくえ』『プライバシーの権利を考える』『おそろしいビッグデータ』『AIと憲法』など。

「NEXT GENERATION BANK 次世代銀行は世界をこう変える」

若林恵・責任編集

制作:黒鳥社 発売:日本経済新聞出版社 

1,200円(本体価格)+税

フィンテックの勃興、仮想通貨や電子通貨の広まり、キャッシュレス化の波によって、猛然とデジタル化・モバイル化が押し進められ、さらに、マイナス金利、低成長、働き方改革などによって、産業、経済のルールまでもが抜本的に見直しを迫られている。この変化の混乱のど真ん中にあって、「金融」の世界はいったい何を指針に、どこへ向けて、どう自らを刷新しうるのか? これからの新しい社会の「金融」を担うべき新しい機関=次世代銀行とは、いかなるものなのか? お金とテクノロジーと社会が織りなす社会変革の壮大なシナリオを、ダグラス・ラシュコフ、デイビッド・バーチ、武邑光裕、山本龍彦、池田純一、出井伸之、tofubeatsから、現役メガバンク取締役まで、時代を牽引する識者とともに、『さよなら未来』の著者で『WIRED』前編集長の若林恵が考えた、次世代ビジネスマン必読の「次世代銀行論」!

Amazonでの購入はこちらから

[PR]

この記事を気に入ったら
「いいね!」しよう

今、あなたにオススメ

Pickup!