TDer Nachrichtenmoderator hat eine zutiefst unheimliche Miene, als er auf Mandarin eine parteiische und abwertende Botschaft übermittelt: Taiwans scheidende Präsidentin Tsai Ing-wen ist so effektiv wie schlaffer Spinat, ihre Amtszeit ist von wirtschaftlicher Unterleistung, sozialen Problemen und Protesten geprägt.
“Wasser Spinat schaut auf Wasser Spinat. Es stellt sich heraus, dass es Wasser ist Spinat ist nicht nur ein Name“, sagt der Moderator in einer erweiterten Metapher über Tsai Dabei handelt es sich um „Hollow Tsai“ – ein Wortspiel, das mit dem Mandarin-Wort für Wasserspinat verwandt ist.
KI-generierter Moderator vergleicht Taiwans Präsidenten mit Wasserspinat – Video
Dies ist kein herkömmlicher Rundfunkjournalist, auch wenn die mangelnde Unparteilichkeit kein Schock mehr ist. Der Anker wird von einem Programm für künstliche Intelligenz generiert und das Segment versucht, wenn auch ungeschickt, Einfluss auf die taiwanesische Präsidentschaftswahl zu nehmen.
Die Quelle und der Urheber des Videos sind unbekannt, aber der Clip soll die Wähler an Politikern zweifeln lassen, die wollen, dass Taiwan auf Distanz zu China bleibt, das behauptet, die selbstverwaltete Insel sei Teil seines Territoriums. Es ist das neueste Beispiel für ein Subgenre des KI-generierten Desinformationsspiels: der Deepfake-Nachrichtensprecher oder Fernsehmoderator.
Solche Avatare verbreiten sich in sozialen Netzwerken und verbreiten staatlich unterstützte Propaganda. Experten gehen davon aus, dass sich diese Art von Videos weiter verbreiten wird, da die Technologie allgemeiner zugänglich wird.
„Es muss nicht perfekt sein“, sagte Tyler Williams, der Untersuchungsleiter bei Graphika, einem Desinformationsforschungsunternehmen. „Wenn ein Benutzer nur durch X oder TikTok scrollt, nimmt er auf einem kleineren Bildschirm keine kleinen Nuancen wahr.“
Peking hat bereits mit KI-generierten Nachrichtensprechern experimentiert. Im Jahr 2018 stellte die staatliche Nachrichtenagentur Xinhua Qiu Hao vor, einen digitalen Nachrichtenmoderator, der versprach, den Zuschauern die Nachrichten „24 Stunden am Tag, 365 Tage im Jahr“ zu überbringen. Obwohl die chinesische Öffentlichkeit im Allgemeinen von der Verwendung digitaler Avatare in den Medien begeistert ist, konnte sich Qiu Hao nicht breiter durchsetzen.
China steht an der Spitze des Desinformationselements des Trends. Letztes Jahr verbreiteten pro-chinesische Bot-Konten auf Facebook und X KI-generierte Deepfake-Videos von Nachrichtensprechern, die einen fiktiven Sender namens Wolf News vertraten. In einem Clip wurde der US-Regierung mangelnder Umgang mit Waffengewalt vorgeworfen, während ein anderer die Rolle Chinas bei einem internationalen Gipfel hervorhob.
In einem im April veröffentlichten Bericht sagte Microsoft, dass staatlich unterstützte chinesische Cyber-Gruppen die Wahlen in Taiwan mit KI-generierten Desinformationsinhalten ins Visier genommen hätten, einschließlich des Einsatzes von Fake-News-Moderatoren oder TV-Moderatoren. In einem von Microsoft zitierten Clip machte der KI-generierte Moderator unbegründete Behauptungen über das Privatleben des letztendlich erfolgreichen Kandidaten für die Souveränität – Lai Ching-te – und behauptete, er habe außereheliche Kinder gezeugt.
Microsoft sagte, die Nachrichtensprecher seien mit dem Videobearbeitungstool CapCut erstellt worden, das von der chinesischen Firma ByteDance, zu der auch TikTok gehört, entwickelt wurde.
Clint Watts, der General Manager des Bedrohungsanalysezentrums von Microsoft, weist auf Chinas offiziellen Einsatz synthetischer Nachrichtensprecher in seinem heimischen Medienmarkt hin, der es dem Land auch ermöglicht hat, das Format zu verfeinern. Mittlerweile ist es zu einem Desinformationsinstrument geworden, auch wenn bisher kaum erkennbare Auswirkungen zu verzeichnen waren.
„Die Chinesen konzentrieren sich viel mehr auf den Versuch, KI in ihre Systeme zu integrieren – Propaganda, Desinformation –, sie sind dort sehr schnell vorgegangen.“ Sie versuchen alles. Es ist nicht besonders effektiv“, sagte Watts.
Drittanbieter wie CapCut bieten das Nachrichtensprecherformat als Vorlage an, sodass es leicht angepasst und in großen Mengen produziert werden kann.
Es gibt auch Clips mit Avataren, die wie eine Mischung aus einem professionellen Fernsehmoderator und einem Influencer wirken und direkt in die Kamera sprechen. In einem Video, das von einer staatlich unterstützten chinesischen Gruppe namens Storm 1376 – auch bekannt als Spamouflage – produziert wurde, ist eine von der KI generierte blonde Moderatorin zu sehen, die behauptet, die USA und Indien würden heimlich Waffen an das Militär in Myanmar verkaufen.
KI-generierter Moderator, produziert von der staatlich unterstützten chinesischen Gruppe Storm-1376 – Video
Der Gesamteffekt ist alles andere als überzeugend. Trotz eines realistisch wirkenden Moderators wird das Video von einer steifen Stimme untermalt, die eindeutig computergeneriert ist. Weitere Beispiele, die von NewsGuard, einer Organisation, die Fehlinformationen und Desinformationen überwacht, ausgegraben wurden, zeigen einen mit Spamouflage verknüpften TikTok-Account, der KI-generierte Avatare verwendet, um US-Nachrichten wie Lebensmittelkosten und Benzinpreise zu kommentieren. Ein Video zeigt einen Avatar mit einer computergenerierten Stimme, der Walmarts Preise unter dem Slogan bespricht: „Lügt Walmart Sie wegen des Gewichts ihres Fleisches an?“
NewsGuard sagte, die Avatar-Videos seien Teil eines pro-chinesischen Netzwerks, das vor der US-Präsidentschaftswahl „ausgebaut“ werde. Es wurden 167 Konten festgestellt, die seit letztem Jahr erstellt wurden und mit Spamouflage verknüpft waren.
Andere Nationen haben mit Deepfake-Ankern experimentiert. Vom iranischen Staat unterstützte Hacker haben kürzlich TV-Streaming-Dienste in den Vereinigten Arabischen Emiraten unterbrochen, um einen gefälschten Nachrichtensprecher auszustrahlen, der einen Bericht über den Krieg in Gaza lieferte. Am Freitag berichtete die Washington Post, dass die Terrorgruppe „Islamischer Staat“ KI-generierte Nachrichtensprecher – in Helm und Arbeitskleidung – zur Verbreitung von Propaganda einsetzt.
Und ein europäischer Staat testet offen KI-generierte Moderatoren: Das ukrainische Außenministerium hat eine KI-Sprecherin, Victoria Shi, ins Leben gerufen, die das Konterfei von Rosalie Nombre verwendet – einer ukrainischen Sängerin und Medienpersönlichkeit, die der Verwendung ihres Bildes zugestimmt hat. Das Ergebnis ist zumindest auf den ersten Blick beeindruckend.
Letztes Jahr veröffentlichte Peking Richtlinien für die Kennzeichnung von Inhalten, die besagten, dass mithilfe von KI erstellte Bilder oder Videos deutlich mit einem Wasserzeichen versehen werden sollten. Aber Jeffrey Ding, ein Assistenzprofessor an der George Washington University, der sich auf Technologie konzentriert, sagte, es sei eine „offene Frage“, wie die Kennzeichnungsanforderungen in der Praxis durchgesetzt würden, insbesondere im Hinblick auf staatliche Propaganda.
Und während Chinas Richtlinien verlangen, dass „fehlerhafte“ Informationen in KI-generierten Inhalten minimiert werden, besteht die Priorität für chinesische Regulierungsbehörden darin, „den Informationsfluss zu kontrollieren und sicherzustellen, dass die produzierten Inhalte nicht politisch sensibel sind und keine gesellschaftlichen Störungen verursachen“, sagte Ding . Das bedeutet, dass, wenn es um Fake News geht, „für die chinesische Regierung das, was an der Taiwan-Front als Desinformation gilt, möglicherweise ganz anders ist als die richtige oder wahrere Interpretation von Desinformation“.
Experten glauben noch nicht, dass die computergenerierten Nachrichtensprecher wirksame Betrüger sind: Tsais Pro-Souveränitätspartei hat in Taiwan gewonnen, trotz aller Bemühungen des Avatars. Macrina Wang, die stellvertretende Redakteurin für Nachrichtenprüfung bei NewsGuard, sagte, der Avatar-Inhalt, den sie gesehen habe, sei „ziemlich grob“ gewesen, habe aber an Umfang zugenommen. Für das geschulte Auge seien diese Videos offensichtlich gefälscht, sagte sie, da gestelzte Bewegungen und das Fehlen wechselnder Licht- oder Schatteneffekte auf der Figur des Avatars zu den Hinweisen zählten. Dennoch zeigen einige Kommentare unter den TikTok-Videos, dass Menschen darauf hereingefallen sind.
„Es besteht die Gefahr, dass der Durchschnittsmensch denkt, dieser (Avatar) sei eine echte Person“, sagte sie und fügte hinzu, dass KI Videoinhalte „ansprechender, anklickbarer und viraler“ mache.
Watts von Microsoft sagte, eine wahrscheinlichere Weiterentwicklung der Taktik des Nachrichtensprechers sei das Filmmaterial eines manipulierten Nachrichtensprechers aus dem wirklichen Leben und nicht eine vollständig von der KI generierte Figur. Wir könnten sehen, dass „jeder Moderator der Mainstream-Nachrichtenmedien so manipuliert wird, dass er etwas sagt, was er nicht gesagt hat“, sagte Watts. Das sei „weitaus wahrscheinlicher“ als ein vollsynthetischer Versuch.
In ihrem Bericht vom letzten Monat sagten Microsoft-Forscher, sie seien nicht auf viele Beispiele für KI-generierte Inhalte gestoßen, die Auswirkungen auf die Offline-Welt hätten.
„Der Einsatz von generativen KI-gestützten Inhalten durch Nationalstaaten hat in den sozialen Medien selten eine große Reichweite erzielt, und nur in wenigen Fällen konnten wir eine echte Täuschung des Publikums durch solche Inhalte beobachten“, heißt es in dem Bericht.
Stattdessen tendiert das Publikum zu einfachen Fälschungen wie gefälschten Textgeschichten, die mit gefälschten Medienlogos geprägt sind.
Watts sagte, es bestehe die Möglichkeit, dass ein vollständig KI-generiertes Video eine Wahl beeinflussen könnte, aber das Tool zum Erstellen eines solchen Clips existierte noch nicht. „Ich vermute, dass das Tool, das mit diesem Video verwendet wird, noch nicht einmal auf dem Markt ist.“ Der effektivste KI-Video-Messenger ist möglicherweise noch kein Nachrichtensprecher. Aber es unterstreicht die Bedeutung von Videos für Staaten, die versuchen, bei den Wählern Verwirrung zu stiften.
Bedrohungsakteure werden auch auf ein Beispiel eines KI-erstellten Videos warten, das die Aufmerksamkeit eines Publikums erregt – und es dann reproduzieren. Sowohl OpenAI als auch Google haben in den letzten Monaten KI-Videomacher vorgestellt, obwohl keines von beiden seine Tools der Öffentlichkeit zugänglich gemacht hat.
„Der effektive Einsatz synthetischer Personas in Videos, die sich die Leute tatsächlich ansehen, wird zunächst im kommerziellen Bereich erfolgen. Und dann werden Sie sehen, wie die Bedrohungsakteure darauf reagieren.“
Zusätzliche Forschung von Chi Hui Lin
