Prompt Injection – Manipulation von KI-Systemen durch fremde Inhalte

Prompt Injection bezeichnet einen Angriff auf KI-Anwendungen, bei dem untrusted Inhalte Anweisungen enthalten, die das System zu einem Verhalten außerhalb seines eigentlichen Auftrags verleiten sollen. Solche Inhalte können in Webseiten, E-Mails, Dokumenten oder Datenbankeinträgen stecken, die ein KI-Assistent verarbeitet. Der Angriffsversuch richtet sich gegen die Trennung zwischen dem Auftrag des Nutzers und Informationen aus fremden Quellen. Die Wirksamkeit hängt vom Aufbau der Anwendung, den Werkzeugrechten und ihren Sicherheitsmaßnahmen ab.

Warum sind externe Inhalte ein möglicher Angriffsweg?

Ein KI-Assistent kann Informationen aus einem abgerufenen Dokument für eine sachliche Antwort auswerten. Das Dokument ist dabei eine Quelle und sollte keine Befugnis erhalten, das Verhalten des Assistenten umzuprogrammieren. Enthält eine fremde Webseite beispielsweise die Aufforderung, den eigentlichen Nutzerauftrag zu ignorieren und vertrauliche Informationen offenzulegen, handelt es sich um einen möglichen Prompt-Injection-Versuch. Eine solche Aufforderung ist keine legitime Anweisung des Nutzers.

Direkte und indirekte Prompt Injection

Bei direkter Prompt Injection versucht eine Person, Anweisungen unmittelbar über eine Eingabe an ein KI-System zu übermitteln. Bei indirekter Prompt Injection werden die Anweisungen in externen Inhalten platziert, die das KI-System erst später liest. Die zweite Variante ist für Unternehmen besonders interessant, weil sie auch ohne direkten Zugriff auf das betreffende System relevant werden kann. Ein öffentlich erreichbarer Webtext allein garantiert allerdings nicht, dass er von einer bestimmten Anwendung abgerufen oder befolgt wird.

Mögliche Folgen in Unternehmensanwendungen

Unzureichend abgesicherte KI-Anwendungen könnten dazu gebracht werden, Antworten zu verfälschen, interne Informationen in Ausgaben einzubauen oder unberechtigte Aktionen über angebundene Werkzeuge auszulösen. Das tatsächliche Schadensausmaß hängt davon ab, welche Daten und Funktionen der Anwendung überhaupt zugänglich sind. Ein reines Auskunftssystem ohne Schreib- oder Versandrechte besitzt andere Angriffsmöglichkeiten als ein Assistent, der E-Mails versenden oder Geschäftsprozesse ändern kann.

Wie kann Prompt Injection entdeckt werden?

Eine Untersuchung betrachtet die Herkunft verdächtiger Inhalte, den Zeitpunkt ihrer Aufnahme, die vom KI-System erzeugte Antwort und die tatsächlichen Werkzeugaktionen. Auffällig sind externe Texte, die sich ausdrücklich an den Assistenten wenden, seine ursprünglichen Regeln aufheben wollen oder neue Aufgaben vorgeben. Nicht jede fehlerhafte Ausgabe ist ein Prompt-Injection-Erfolg. Auch gewöhnliche Modellfehler, unklare Nutzerfragen oder falsch indexierte Daten können zu schlechten Antworten führen.

Welche technischen Gegenmaßnahmen helfen?

Anwendungen sollten externe Daten als nicht vertrauenswürdige Informationen behandeln. Werkzeugrechte lassen sich auf den erforderlichen Umfang beschränken. Besonders folgenreiche Aktionen können eine gesonderte Freigabe verlangen. Strukturierte Eingabe- und Ausgabeprüfungen, Trennung von Instruktionen und Quellenmaterial sowie Tests mit adversarialen Dokumenten können zusätzliche Schutzschichten bilden. Ein einzelner Filter bietet keinen vollständigen Schutz vor sämtlichen Angriffen.

Abgrenzung zu Data Poisoning und AI Search Poisoning

Data Poisoning versucht, die für ein Modell oder einen nachgelagerten Prozess verwendeten Daten inhaltlich zu verfälschen. AI Search Poisoning richtet sich gegen die Informationsquellen oder Suchergebnisse, die KI-Antworten beeinflussen können. Prompt Injection verwendet dagegen Anweisungscharakter innerhalb einer Eingabe oder Quelle. Dieselbe manipulierte Webseite kann mehrere dieser Eigenschaften aufweisen, ohne dass alle Techniken tatsächlich wirksam werden.

Rechtliche Einordnung

Eine technische Prompt-Injection-Aufforderung erfüllt nicht automatisch einen Straftatbestand. Werden dadurch unbefugt geschützte Daten erlangt, Systeme verändert oder Betrugshandlungen begangen, können je nach Sachverhalt Vorschriften des Strafgesetzbuchs einschlägig sein. Bei einer Verarbeitung personenbezogener Daten sind außerdem datenschutzrechtliche Pflichten zu berücksichtigen. Die rechtliche Beurteilung hängt von konkreten Handlungen und nachweisbaren Folgen ab.

Prompt Injection und Markenreputation

Manipulierte externe Dokumente können auch versuchen, die Beschreibung einer Unternehmensmarke durch KI-Anwendungen zu verändern. Ob dies zu einem nachweisbaren Reputationsangriff führt, muss anhand der verwendeten Quellen, Antworten und weiteren Umstände geprüft werden. BRANDPROTECTIONNOW untersucht bei entsprechenden Verdachtsfällen die öffentlich zugänglichen Informationsquellen und dokumentiert auffällige Muster; technische Untersuchungen kompromittierter Systeme können die Einbindung spezialisierter Security-Partner erfordern. Mehr über Reputationsschutz.

Häufige Fragen

Ist jeder Text mit einer Anweisung eine Prompt Injection?

Nein. Entscheidend ist, ob ein fremder Inhalt versucht, die Rolle als Datenquelle zu verlassen und das Verhalten eines KI-Systems unberechtigt zu steuern.

Kann Prompt Injection immer Daten stehlen?

Nein. Dazu müssten der Anwendung die betreffenden Informationen und geeignete Ausgabekanäle tatsächlich zugänglich sein.

Kann man Prompt Injection vollständig verhindern?

Verschiedene Schutzschichten senken das Risiko. Eine allgemeine Garantie gegen jede Variante gibt es nicht.