日本のネット民「岸田を変態糞親父にしてみた」　4chan民「エマ・ワトソンをヒトラーにしてみた」

AIでクローン音声を生成する最新ツールが4chan民により「エマ・ワトソンの声で『わが闘争』を読み上げさせる」など悪用されまくる事態に

ポーランドに拠点を置くAIスタートアップのElevenLabsは、音声サンプルから「声のクローン」を作成してさまざまな文章を読み上げさせるツールを開発しています。ElevenLabsが最新ツールのベータ版を公開したところ、海外掲示板・4chanのユーザーたちにより「有名人の声で人種差別発言や不謹慎なことを言わせる」といった悪用事例が急増してしまったと報じられています。

ElevenLabsは元Googleの機械学習エンジニアであるPiotr Dabkowski氏らが設立したAIスタートアップであり、ゼロから新しい音声を設計する「合成音声作成ツール」と、サンプルの音声を基に文章を読み上げさせる「クローン音声作成ツール」を提供しています。

「クローン音声作成ツール」の場合、1分を超えるクリーンな音声サンプルを入力すれば、そのサンプルを基にクローン音声を生成できるとのこと。ターゲットとなるユースケースとして、ElevenLabsはニュースレターや書籍の読み上げ、動画内の音声などに利用できるとしています。

ところが、ElevenLabsがクローン音声作成ツールのベータ版を公開したところ、4chanユーザーが「有名人の声で人種差別発言や不謹慎なことを言わせる」といった悪用を始めてしまいました。一例では、「女優のエマ・ワトソン氏の声でナチス指導者アドルフ・ヒトラーの著書『わが闘争』を読み上げさせる」といったものが確認されています。

https://gigazine.net/news/20230131-ai-voice-elevenlabs-4chan-abuse/