Eine Funktion, die Google gestern auf seiner I/O-Konferenz vorführte und die generative KI-Technologie nutzt, um Sprachanrufe in Echtzeit auf Gesprächsmuster im Zusammenhang mit Finanzbetrug zu scannen, löste bei Datenschutz- und Sicherheitsexperten, die vor dieser Funktion warnen, einen kollektiven Schauer über den Rücken aus stellt das dünne Ende des Keils dar. Sie warnen davor, dass das clientseitige Scannen, sobald es in die mobile Infrastruktur integriert ist, eine Ära der zentralisierten Zensur einläuten könnte.
Googles Demo der Anrufbetrugserkennungsfunktion, die nach Angaben des Technologieriesen in eine zukünftige Version seines Android-Betriebssystems integriert werden soll – schätzungsweise auf etwa drei Viertel aller Smartphones weltweit laufen wird – wird von Gemini Nano, dem kleinsten seiner Modelle, angetrieben aktuelle Generation von KI-Modellen, die vollständig auf dem Gerät ausgeführt werden sollen.
Hierbei handelt es sich im Wesentlichen um clientseitiges Scannen: Eine aufkommende Technologie, die in den letzten Jahren große Kontroversen im Zusammenhang mit Bemühungen zur Erkennung von Material zum sexuellen Missbrauch von Kindern (CSAM) oder sogar Grooming-Aktivitäten auf Messaging-Plattformen ausgelöst hat.
Apple gab seinen Plan, im Jahr 2021 clientseitiges Scannen für CSAM einzuführen, nach einer großen Gegenreaktion im Datenschutz auf. Die politischen Entscheidungsträger üben jedoch weiterhin Druck auf die Technologiebranche aus, Wege zu finden, um illegale Aktivitäten auf ihren Plattformen aufzudecken. Jeder Schritt der Branche, eine Scan-Infrastruktur auf dem Gerät aufzubauen, könnte daher den Weg für standardmäßige Inhaltsscans aller Art ebnen – unabhängig davon, ob sie von der Regierung geleitet werden oder im Zusammenhang mit einer bestimmten kommerziellen Agenda stehen.
Meredith Whittaker, Präsidentin der in den USA ansässigen verschlüsselten Messaging-App Signal, reagierte in einem Beitrag auf Es ebnet den Weg für zentralisiertes, clientseitiges Scannen auf Geräteebene.
„Von der Erkennung von ‚Betrügereien‘ ist es nur ein kurzer Schritt zur ‚Erkennung von Mustern, die häufig mit der Suche nach reproduktiver Betreuung in Verbindung gebracht werden‘ oder ‚häufig mit der Bereitstellung von LGBTQ-Ressourcen verbunden‘ oder ‚häufig mit der Meldung von Whistleblowern durch Technikarbeiter verbunden sind‘.“
Der Kryptographie-Experte Matthew Green, Professor an der Johns Hopkins University, nutzte ebenfalls X, um Alarm zu schlagen. „In Zukunft werden KI-Modelle Rückschlüsse auf Ihre Texte und Sprachanrufe ziehen, um illegales Verhalten zu erkennen und zu melden“, warnte er. „Damit Ihre Daten über Dienstleister weitergeleitet werden, müssen Sie einen wissensfreien Nachweis darüber beifügen, dass das Scannen durchgeführt wurde. Dadurch werden offene Clients blockiert.“
Green schlug vor, dass diese dystopische Zukunft der standardmäßigen Zensur nur noch wenige Jahre von der technischen Umsetzung entfernt sei. „Wir sind noch ein kleines Stück davon entfernt, dass diese Technologie effizient genug ist, um es zu realisieren, aber nur ein paar Jahre. Höchstens ein Jahrzehnt“, schlug er vor.
Auch europäische Datenschutz- und Sicherheitsexperten protestierten schnell.
Lukasz Olejnik, ein in Polen ansässiger unabhängiger Forscher und Berater für Datenschutz- und Sicherheitsfragen, reagierte auf Googles Demo auf „Dies bedeutet auch, dass bereits technische Möglichkeiten entwickelt wurden oder entwickelt werden, um Anrufe, Erstellung, Verfassen von Texten oder Dokumenten zu überwachen, beispielsweise auf der Suche nach illegalen, schädlichen, hasserfüllten oder anderweitig unerwünschten oder rechtswidrigen Inhalten – in Bezug auf jemandes Maßstäbe“, schrieb er.
„In einem weiteren Schritt könnte ein solches Modell beispielsweise eine Warnung anzeigen. Oder die Fähigkeit zum Weitermachen blockieren“, fuhr Olejnik mit Nachdruck fort. „Oder melde es irgendwo. Technologische Modulation sozialen Verhaltens oder Ähnliches. Dies stellt eine große Bedrohung für die Privatsphäre, aber auch für eine Reihe grundlegender Werte und Freiheiten dar. Die Fähigkeiten sind bereits vorhanden.“
Olejnik brachte seine Bedenken weiter zum Ausdruck und sagte gegenüber TechCrunch: „Ich habe die technischen Details nicht gesehen, aber Google versichert, dass die Erkennung auf dem Gerät erfolgen würde.“ Dies ist großartig für die Privatsphäre der Benutzer. Allerdings steht viel mehr auf dem Spiel als nur die Privatsphäre. Dies verdeutlicht, wie in Software und Betriebssysteme integrierte KI/LLMs dazu genutzt werden können, verschiedene Formen menschlicher Aktivitäten zu erkennen oder zu kontrollieren.
Dies verdeutlicht, wie in Software und Betriebssysteme integrierte KI/LLMs dazu genutzt werden können, verschiedene Formen menschlicher Aktivitäten zu erkennen oder zu kontrollieren.
Lukasz Olejnik
„Bisher läuft es glücklicherweise zum Besseren. Aber was kommt, wenn die technischen Möglichkeiten vorhanden und eingebaut sind? Solche leistungsstarken Funktionen weisen auf potenzielle zukünftige Risiken hin, die mit der Fähigkeit der Nutzung von KI zur Steuerung des Verhaltens von Gesellschaften in großem Maßstab oder selektiv verbunden sind. Das ist wahrscheinlich eine der gefährlichsten Möglichkeiten der Informationstechnologie, die jemals entwickelt wurden. Und wir nähern uns diesem Punkt. Wie regeln wir das? Gehen wir zu weit?“
Michael Veale, außerordentlicher Professor für Technologierecht an der UCL, warnte auch in einem Reaktionsbeitrag auf mehr Zwecke als diese, die Regulierungsbehörden und Gesetzgeber missbrauchen wollen.“
Datenschutzexperten in Europa haben besonderen Grund zur Sorge: Die Europäische Union hat seit 2022 einen umstrittenen Gesetzesvorschlag zum Nachrichtenscannen auf dem Tisch, der laut Kritikern – darunter der eigene Datenschutzbeauftragte der Union – einen Wendepunkt für demokratische Rechte in der Region darstellt da es Plattformen dazu zwingen würde, private Nachrichten standardmäßig zu scannen.
Während der aktuelle Gesetzesvorschlag behauptet, technologieunabhängig zu sein, wird allgemein erwartet, dass ein solches Gesetz dazu führen würde, dass Plattformen clientseitige Scans einsetzen, um auf eine sogenannte Erkennungsanordnung reagieren zu können, die verlangt, sowohl bekannte als auch unbekannte CSAMs zu erkennen Erfassen Sie außerdem Pflegeaktivitäten in Echtzeit.
Anfang des Monats verfassten Hunderte von Datenschutz- und Sicherheitsexperten einen offenen Brief, in dem sie warnten, dass der Plan zu Millionen von Fehlalarmen pro Tag führen könnte, da die clientseitigen Scan-Technologien, die von Plattformen wahrscheinlich als Reaktion auf eine rechtliche Anordnung eingesetzt werden, unbewiesen seien , zutiefst fehlerhaft und anfällig für Angriffe.
Google wurde mit der Bitte um eine Antwort auf Bedenken kontaktiert, dass seine Konversations-Scan-KI die Privatsphäre der Menschen gefährden könnte, hatte aber bei Redaktionsschluss noch nicht geantwortet.
Wir starten einen KI-Newsletter! Melden Sie sich hier an, um es ab dem 5. Juni in Ihren Posteingängen zu erhalten.
