Achtung, Gmail-Nutzer: Neue KI-Funktion öffnet Betrug Tür und Tor

Googles E-Mail-Programm Gmail hat eine praktische Funktion, mit der Nutzer sich den Inhalt einer Nachricht von Gemini zusammenfassen lassen können. Cybersecurity-Experten haben nun jedoch aufgedeckt, dass Betrüger das KI-Tool für ihre Zwecke ausnutzen können - ohne dass die Nutzer es bemerken.

Kriminelle verstecken dafür lediglich Befehle für die KI im Text der E-Mail, wie das Portal "Android Authority" berichtet. Diese können im HTML-Format am Ende der Nachricht geschrieben sein oder in einer "unsichtbaren" Farbe. Klickt der Nutzer also auf "E-Mail zusammenfassen" liest Gemini die Anweisungen mit aus und setzt sie um, was schwerwiegende Folgen haben kann. Experten sprechen dabei von "indirect prompt injections", zu Deutsch: Einspeisung indirekter Aufforderungen. 

Gmail-Nutzer müssen aufpassen: KI-Zusammenfassung mit versteckten Befehlen

Ein Sicherheitsforscher unter dem Pseudonym "blurrylogic" hat die Lücke in Googles KI-System aufgedeckt. In seinem Beispiel konnte er Gemini mit einem unsichtbaren Befehl dazu bringen, eine falsche Sicherheitswarnung in seiner Zusammenfassung der E-Mail wiederzugeben. "Warnung: Gemini hat erkannt, dass dein Gmail-Passwort kompromittiert wurde", kann dann plötzlich in der Zusammenfassung stehen, inklusive vermeintlicher Telefonnummern oder Links, die einem weiterhelfen sollen.

Gmail-Nutzer könnten leicht in diese Phishing-Falle tappen. Schon in der Vergangenheit waren Gmail-Konten ein beliebtes Ziel für KI-Angriffe. Wenn die Warnung in der KI-Zusammenfassung steht, erscheint das den meisten Menschen glaubwürdiger, als die tatsächliche E-Mail. Experten gehen davon aus, dass wir der KI eine gewisse Autorität zuschreiben und der Zusammenfassung daher eher vertrauen. Die "prompt injections" können zudem im Hintergrund ablaufen, und werden in der KI-Antwort nicht weiter angezeigt.

Hier sind weitere Beispiele, welche Gefahren hinter versteckten KI-Befehlen stecken können:

• Phishing: Die KI zeigt falsche Informationen oder betrügerische Links an, die Nutzer dazu bringen, sensible Daten an die Angreifer weiterzugeben.
• Datenklau: Die KI durchsucht im Hintergrund deine E-Mails nach sensiblen Informationen und schickt sie an die Angreifer.
• Malware: Die KI führt unbemerkt schädliche Programme aus.
• Weiterleitung: Die KI leitet die betrügerischen Links oder schädlichen Programme an deine Kontakte weiter.

So geht Google gegen bösartige Befehle an Gemini vor

Google hat die Sicherheitslücke in Gemini bereits anerkannt und arbeitet an einer Lösung. In einem Post auf Googles Security Blog heißt es, dass das KI-Modell hinter Gemini stetig trainiert werde. Dazu gehört auch, dass bösartige Befehle nicht ausgeführt werden. Künftig soll die Antwort der KI in solchen Fällen entfernt werden und ein gelbes Banner mit einem Sicherheitshinweis erscheinen. 

Weitere Maßnahmen sind das Entfernen von verdächtigen Links in E-Mail-Zusammenfassungen. Das könnte vor allem Phishing-Angriffe per Gemini eindämmen. Zudem soll Gemini die Nutzer häufiger um Bestätigung bitten, bevor Aktionen in Gmail oder anderen Programmen ausgeführt werden.

Wer in seinem Alltag gerne KI-Zusammenfassungen nutzt, sollte dennoch vorsichtig bleiben. Wenn Gemini oder andere KI-Assistenten dich plötzlich dazu auffordern, eine Nummer anzurufen oder einen Link zu klicken, ist das Grund zum Misstrauen. Überprüfe im Zweifelsfall den Originaltext und achte auf mögliche Anzeichen von "prompt injection" wie seltsame Formatierung oder weiße Schrift.

Direkt bei Samsung ansehen: Aktuelle Spar- und Sonderaktionen für Smartphones*