研究者がアンチを構築

ウィル・ナイト、wired.com - 2023年8月30日午後1時51分（協定世界時）

ロシア国営メディアのスプートニク国際は5月、米国の外交政策を非難し、バイデン政権を攻撃する一連のツイートを投稿した。 それぞれの投稿に対し、CounterCloud と呼ばれるアカウントから、素っ気ないがよく練られた反論が寄せられ、その中には関連するニュースや意見記事へのリンクが含まれていることもありました。 米国を批判するロシア大使館や中国報道機関のツイートにも同様の反応があった。

ロシアによる米国批判は決して珍しいことではないが、カウンタークラウドが反発した内容は次の通りだった：プロジェクトの背後にいる人物によれば、ツイート、記事、さらにはジャーナリストやニュースサイトさえも完全に人工知能アルゴリズムによって作られているという。 Nea Paw という名前を付け、量産される AI 偽情報の危険性を強調するために設計されたと述べています。 PawはCounterCloudのツイートや記事を公には投稿しなかったが、それらを『WIRED』に提供し、プロジェクトの概要を説明するビデオも制作した。

パウ氏は、このプロジェクトが無責任だと考える人もいるかもしれないため、匿名を好むサイバーセキュリティの専門家であると主張している。 ロシアのメッセージングを反対するCounterCloudキャンペーンは、ChatGPTの背後にあるようなOpenAIのテキスト生成テクノロジーや、写真やイラストを生成するための他の簡単にアクセスできるAIツールを使用して作成され、総コストは約400ドルだった、とポー氏は述べている。

「フィッシング攻撃、スパム、ソーシャル エンジニアリングに特効薬がないのと同じように、これに対する特効薬はないと思います」とポー氏は電子メールで述べている。 AI が生成した操作的なコンテンツに注意するようにユーザーを教育したり、生成 AI システムに悪用をブロックさせたり、ブラウザに AI 検出ツールを装備したりするなど、緩和策が可能です。 「しかし、これらのものはどれも、本当にエレガントでも、安価でも、特に効果的でもないと思います」とポー氏は言います。

近年、偽情報研究者らは、AI言語モデルが高度にパーソナライズされたプロパガンダキャンペーンを作成したり、洗練された方法でユーザーと対話するソーシャルメディアアカウントを強化したりするために使用される可能性があると警告している。

情報キャンペーンを追跡するスタンフォードインターネット観測所の技術調査マネージャー、レニー・ディレスタ氏は、CounterCloudプロジェクトの一環として生成された記事とジャーナリストのプロフィールはかなり説得力があると語る。

「政府関係者に加えて、影響力活動サービスを提供するソーシャルメディア管理機関や傭兵も間違いなくこれらのツールを手に入れ、ワークフローに組み込むでしょう」とディレスタ氏は言う。 偽のコンテンツを広く配布して共有するのは難しいが、影響力のあるユーザーにお金を払って共有してもらうことで実現できる、と彼女は付け加えた。

AI を利用したオンライン偽情報キャンペーンの証拠の一部がすでに表面化しています。 学術研究者らは最近、ChatGPT を利用していると思われる粗野な暗号プッシュ ボットネットを発見しました。 研究チームは、今回の発見は、チャットボットの背後にあるAIが、より高度な情報キャンペーンにすでに使用されている可能性があることを示唆していると述べた。

2024 年の米国大統領選挙に向けて、正当な政治運動も AI の利用に目を向けています。 4月、共和党全国委員会は、AIが生成した偽画像を含むジョー・バイデンを攻撃するビデオを作成した。 そして6月には、ロン・デサンティスに関連するソーシャルメディアアカウントが、ドナルド・トランプの信用を傷つけることを目的としたビデオにAIで生成された画像を含めた。 連邦選挙委員会は、政治広告におけるディープフェイクの使用を制限する可能性があると述べた。

AI 言語モデルの偽情報の可能性を研究している研究者ミカ・マッサー氏は、主流の政治運動が言語モデルを使用してプロモーション コンテンツを生成したり、募金メールを作成したり、広告を攻撃したりしようとすると予想しています。 「今はまったく不安定な時期にあり、基準が何なのかはっきりしていません」と彼は言います。

AI によって生成されたテキストの多くは依然としてかなり一般的であり、見つけやすいとマッサー氏は言います。 しかし、AIが生成した偽情報をプッシュするコンテンツを人間が巧みに処理することは非常に効果的であり、自動フィルターの使用をやめるのはほぼ不可能であると同氏は言う。