Im Dezember letzten Jahres verzeichnete der AI-Chatbot Grok von Elon Musk die höchste monatliche Aktivitätsnutzung (MAU) in der Geschichte Südkoreas. Allerdings wurde Grok in den Mittelpunkt von Kontroversen wegen der Erzeugung von Deepfake-Inhalten gerückt. Während die indonesische Regierung als erste Maßnahmen ergriff und den Zugang zu Grok blockierte, fehlen in Südkorea rechtliche Grundlagen für eine Regulierung, was zu einem Management-Vakuum geführt hat.
Laut Berichten aus der IT-Branche und Nachrichtenagenturen wie Bloomberg hat die indonesische Regierung Grok zensiert, um auf die Bedenken zu reagieren, dass dieser AI-Dienste zur Erzeugung und Verbreitung von sexualisierten Deepfakes nutzt. Dies ist nicht die einzige weltweit ergriffene Maßnahme; auch Frankreich und Großbritannien haben offizielle Ermittlungen eingeleitet. Deutschland, Schweden und Italien forderten zudem von X (ehemals Twitter), dem Mutterkonzern der Grok-Entwickler von xAI, sofortige Korrekturen.
Frühere Berichte besagen, dass Grok die Erstellung von Bildern realer Personen in sexualisierten Kontexten erlaubte, was weltweit für Aufregung sorgte. Die Möglichkeit, auch Bilder von Minderjährigen zu manipulieren, führte zu erheblichen Kritikpunkten.
Beispielsweise können Benutzer ein Bild einer realen Person, das auf X gepostet wurde, Grok zur Verfügung stellen und Aufforderungen wie „Zieh einen Badeanzug an“ eingeben. Bei diesem Prozess wird jedoch versäumt, das Alter oder das Einverständnis der betreffenden Personen zu überprüfen, was zur Manipulation von Bildern von scheinbar minderjährigen Personen führt.
In Bezug auf diese Vorwürfe erklärte Grok: „Wir haben Schwachstellen in unseren Sicherheitsvorkehrungen festgestellt und arbeiten dringend an einer Lösung.“
In Südkorea hat Grok ebenfalls eine beachtliche Anzahl aktiver Nutzer. Laut Mobile Index erreichte Grok im Dezember letzten Jahres einen MAU von 849.963, was einen historischen Rekord darstellt. Während des gesamten Monats wurden 501.750 neue Installationen registriert.
Ein besorgniserregender Aspekt ist jedoch, dass trotz des Wachstums von Grok in Südkorea das Management der Deepfake-Erstellung in einer rechtlichen Grauzone bleibt. Branchenexperten betonen, dass bestehende Gesetze, einschließlich des „Gesetzes über Informations- und Kommunikationsnetze“ und des am 22. in Kraft tretenden „KI-Grundgesetzes“, Deepfakes und ähnliche AI-basierte schädliche Inhalte nur in Bezug auf die Verantwortung der Nutzer regulieren.
Dies bedeutet, dass die Strafverfolgung bei der Erstellung und Verbreitung von Deepfakes vorwiegend auf die Nutzer selbst fokussiert ist, während es an Regulierung oder Leitlinien für die Plattformen, die diese Inhalte generieren, mangelt. Aus der Branche kommt der Aufruf, dieRegulierung von Plattformen zu verstärken, um die frühzeitige Kontrolle des Generierungsprozesses zu ermöglichen.
Ein Branchenvertreter erklärte: „Das KI-Grundgesetz in Südkorea bestraft die Verbreitung, den Besitz und das Ansehen illegaler Deepfakes, die von einzelnen Nutzern erstellt werden, bietet jedoch keine Vorschriften zur Vorab-Regulierung der internen Erzeugung von Richtlinien bei den Plattformen. EU-Staaten haben dagegen aufgrund des „Digital Services Act“ (DSA) rechtliche Grundlagen, um die internen Richtlinien und Algorithmen von Plattformen zu kontrollieren und schnellere Untersuchungen zu ermöglichen.“
