研究警告：人工知能は中国の社会信用システムを監視ツールに変える可能性がある

中国の研究が警告を発表した。人工知能（AI）を既存の社会信用システムに導入することは誤りである可能性があるとし、これは評価システムを「大規模監視ツール」のようなものに変える可能性があると指摘している。なお、この研究は中国政府が支援するプロジェクトによって資金提供されており、社会ガバナンスと制度革新を検証することを目的としている。

現在、中国の社会信用スコアシステムは異なるプログラムで構成されている。これは西洋の信用評価や報告に類似した金融信用システムを組み合わせており、違法行為によって制裁を受けた個人や企業の監視ブラックリストも含まれている。また、このシステムは地方での行動実験を含み、定められた基準に基づいて人々に報酬や罰を与え、政府の説明責任制度を設けて公務員の遵守状況や行動を監視している。これらのプログラムは各市民の単一の全国スコアに接続されているわけではないが、総合的には自動的な意思決定によって個人の融資機会を妨げる可能性がある。

人工知能の潜在的影響

この研究は、人工知能を導入することでこのシステムが多くの西洋の批評家が考えるオーウェル的なシステムに変わる可能性があると考えている。社会信用スコアに人工知能を加えることは良いアイデアなのか？報告によると、このような駆動された人工知能システムは、個々の活動、財務履歴、関係性、その他の利用可能なデータを大規模に分析することができる。これにより、システムはある人が問題を引き起こす可能性のある人と似ていると判断するかもしれない。この場合、個人が不適切な行動をしていない可能性があるにもかかわらず、システムは異なる扱いをする可能性がある。これにより、システムは主に反応的なものからより予測的なものに変わり、映画『少数派報告』のプロットに似たものになるが、より極端なものとなる。

研究者の林建興は、この潜在的な変化が実際の行動の評価から個人のプロファイル分析に移行し、アルゴリズムによって予測されたリスクに基づいて行政決定を下すことになると警告している。これらのすべての過程は当事者が知らないうちに行われ、正式に違法でない場合でも、個人は機会の減少やより高い審査を受けることで「罰せられる」可能性がある。さらに重要なのは、これは単なる理論ではないということである。2025年にスタンフォード大学が行った研究では、既存の社会信用システムを検証し、中国のある都市の社会信用システムを調査した。そこでは成人の初期スコアが1,000点であり、その後389の報酬と罰則に従って変動する。

これらの規則には、政府当局に訴えるなどの政治的行動が含まれている。研究では、最低ランクの個人が警察の監視に直面する可能性があることも明らかになった。都市住民と比較して、農村住民は報酬を得る機会が少ないため、不公平な不利な立場にあるように見える。全体として、研究は、全国的な「ビッグブラザー」型のシステムは存在しないが、特定の地方システムが人々に対する罰を単なる刑事犯罪の範囲を超えている可能性があることを発見した。しかし、人工知能の導入は、誰もがこのことに対する懸念を現実のものにする可能性がある。

未来の可能性と課題

現在、全国的な人工知能駆動の社会評価システムの導入計画があるという証拠は存在しないことを指摘する必要がある。しかし、中国はすでに公共行政における人工知能の応用を探求している。この研究は警告としてのみ存在し、将来的にこのような事態が発生した場合、その結果は満足のいくものではないだろう。一方で、支持者は、潜在的な重大犯罪者を信頼性高く特定することが社会に利益をもたらし、最も支援を必要とする人々を特定するのに役立つと主張するかもしれない。人工知能を導入する場合、この研究は無実の人々を罰せず、過度に干渉しない方法で行うべきだと指摘している。

これは不可能な任務なのか？それは読者自身が判断することになる。

人工知能を社会信用システムに導入するリスク

人工知能を中国の社会信用システムに導入することは、特に個人のプライバシーや監視の面で深刻な影響をもたらす可能性がある。研究は、このシステムが反応的から予測的に変わることで無実の人々が罰せられる可能性があると指摘している。現在、全国的なシステムを実施する計画はないが、技術の進展に伴い、将来のリスクは無視できない。技術の応用と個人の権利をどのようにバランスさせるかが、中国の社会ガバナンスにおける重要な課題となるだろう。