AnthropicのFrontier Red Teamが最近発表した研究によれば、小型人工知能モデルは数ヶ月以内に自己複製し、安全でないデバイス上で拡散する可能性があり、それによって緩慢だが根絶が難しい自律型ロボットネットワークが形成されるという。人工知能企業は自社製品の終末的な潜在能力を利用してマーケティングを行うことに慣れているが、この場合、Engadgetがインタビューした専門家たちは、小型人工知能モデルが近い将来に自己複製能力を持つ可能性が高いことに一般的に同意している。しかし、実際にそれらがもたらす脅威は、見た目ほど新しいものではないかもしれない。
EquiStampのCEOであるChris Canalは、「これは私が元々予測していたよりも早く起こるかもしれない。私は来年の夏がこの問題について本当に心配する時期だと予測していた」と述べた。さらに、「Anthropicは私がアクセスできない最前線の研究情報を持っている可能性が高く、彼らの予測はより正確かもしれない」と付け加えた。
Canalはモデルの進歩の速度を、Anthropicや他の最前線の研究所のスタッフが自らの人工知能ツールを使用して機械学習研究を行っていることに起因していると考えている。ジョージア工科大学のサイバーセキュリティとプライバシーの教授であるMichael Baileyは、「私は自己複製するモデルが将来的に実現する可能性があると考えている。私はそれらが実際に存在し、私たちはそれらを見ることになるだろう」と述べた。しかし、彼はこれらのモデルの具体的な形態と影響は完全に未解決の問題であると指摘した。Baileyは2000年代初頭からインターネットワームの研究を行っており、最近ではロボットネットワークの研究を行っている。
彼は2017年に《Understanding the Mirai Botnet》を共同執筆しており、この研究はAnthropicによって自社の研究の一部として引用された。Miraiは一群のネットワーク犯罪者が大規模なIoTデバイスのロボットネットワークを構築することを可能にし、その後SONYのPlayStation Networkに対してDDoS攻撃を行い、最終的にはアメリカ最大のDNSプロバイダーの一つであるDynに影響を及ぼし、2016年にはインターネットの大部分が麻痺し、多くのアメリカと一部のヨーロッパのユーザーがインターネットにアクセスできなくなった。
小型人工知能モデルの自己複製能力は未来の脅威となる
この攻撃による財務損失は相当なもので、SONYはその純収入損失が約270万ドルに達すると推定している。Baileyは、「Miraiは、ケーブルルーターやIPカメラなどの日常的なデバイスを使用してこれらのロボットネットワークを構築し、実用性を持たせることができることを示した。私たちはこれらのデバイスが敵にとって無用であると考えていたが、攻撃のターゲットや攻撃を実行するための計算リソースとしては非常に効果的であることが分かった」と述べた。十年後、Anthropicは人工知能ワームがMiraiや他のハードコーディングされたロボットネットワーク（例えばKimwolf）の重要な進化を代表する可能性があると考えている。なぜなら、それらは未知のデバイスを自ら認識する能力を持つからである。
Baileyは、適応性自体は新しいものではなく、Miraiは異なるアーキテクチャの「ヘテロジニアス」デバイス上で動作できることを示している。しかし、この適応性には限界がある：各新しいアーキテクチャには、悪意のあるソフトウェアを再コンパイルするために人手が必要である。Baileyは、人工知能がこの作業を自動化する可能性が新しいものであると考えているが、Anthropicのデモは「注目に値するものではない」と述べている。
したがって、Baileyはより強力な人工知能モデルがロボットネットワークの構築作業を「再配分」することになると提案している。Baileyは、「それは新しいことをするのではなく、攻撃者と防御者の間の経済学を変えることになる」と述べた。Anthropicは、モデルがデバイス間を飛び回り、各デバイスで推論を設定できることを示したが、これはシミュレーションされたネットワーク内で行われており、関与する「利用」は比較的単純である。さらに、BaileyはAnthropicの自己複製の主張に異議を唱えた。
彼は、「この説明は少し不正確で、彼らは分割などの操作を行っている。これは悪いことではないが、完全にワームやウイルスのように伝播することを意味するわけではない」と述べた。逆に、Baileyは現実の人工知能ロボットネットワークは、デバイス上に足場を得て他のコードをインストールする悪意のあるソフトウェアのようなものであると考えている。このようなロボットネットワークは、感染した各マシンに完全に複製されるのではなく、ネットワーク内の他の部分から指示を受け取る小型の調整ツールをインストールする。
Baileyは、「悪意のあるソフトウェア自体が自己複製することは、既存のインターネットワームのように、私のコードの正確なコピーを新しいアーキテクチャに複製し、新しいエージェントを実行することではない」と述べた。彼はまた、ワームは多形性を持つ可能性があり、自らの署名や行動を変えることができると指摘した。人工知能ロボットネットワークがこれを実現するには、自らのモデルを再訓練する必要があるが、Anthropicはそれを試みていない。近似的には、Anthropicはモデルのコピーがその後継者に情報を伝達でき、推論を設定する過程でより優れたものになることを示した。
人工知能研究所からの警告としては、Anthropicがこの研究をマーケティングの一環として発表したのではないかという疑問がある。特に同社がその後すぐにIPOを正式に提出する際に。Canalは、「私は、これらの企業が他の人工知能企業が無責任であることを懸念している可能性が高いと考えている。彼らは、最高のモデルを作成し、より早く市場に投入するように促されていることを認識しており、他の企業も同じように促されていることを知っている」と述べた。
この新しい脅威ベクトルが本当にワームであるかどうか、またそれが実際に将来の時間枠でどのように機能するかに関わらず、Anthropic自身がその危害を軽減するために提案した方法は、意外にも古典的である。彼らは、インターネットサービスプロバイダーが顧客にデバイスが感染していることを通知し、その後、顧客のネットワークアクセスを安全なウェブサイトの短いリストに制限することを提案している。この戦略はMiraiの期間中に良好な効果を得ていた。さらに、同社は規制を潜在的な解決策として提案し、イギリスが現在、IoTデバイス上の推測しやすいデフォルトパスワードを禁止していることを指摘している。この実践はPSTI法に基づいて実施されている。
これに対し、Baileyは人工知能ワームに対する適切な反応は「私たちがシステムセキュリティの分野で長年行ってきたことに近いものであり、人工知能の分野に特有のものではない」と考えている。実際、Canalによれば、オープンウェイトモデルに対して、ワームとして行動するのを防ぐための防護策を強化することは困難である。彼は、「多くのアイデアがあるが、これまでのところ堅牢なものはない」と述べた。非営利のAIセキュリティ研究機関FAR.AIとの協力の中で、EquiStampは「基本的にあなたがGoogleで検索するモデルの防護策を除去する戦略はすべて有効であることを発見した」と述べた。
しかし、Baileyが指摘するように、「不適切に行動するエージェントであっても、強化されたデバイスに直面すると困難に直面するだろう」。もしAnthropicの研究から一つの重点があるとすれば、それは私たちが過去に学んだすべてのセキュリティの教訓を常に忘れているということである。人工知能ワームの時代において、セキュリティは現在と似たように見えるかもしれない。「これは、これらのデバイスの修補、隔離、良好なパスワードと良好な衛生に関する問題に注目することのように見える」とBaileyは述べた。これらの解決策は説明するのは簡単だが、実施するのは極めて困難である。しかし、もし人工知能がこのような攻撃をより一般的にするのであれば、私たちは他に選択肢がないかもしれない。