KI-Angriffe erreichen die Realität: Zwei Vorfälle erschüttern die Sicherheitsbranche

Loading

Autonome KI-Agenten haben erstmals reale IT-Systeme kompromittiert. Betroffen waren unter anderem Hugging Face sowie drei weitere Organisationen. Die Vorfälle werfen neue Fragen zur Sicherheit moderner KI-Modelle auf.

Den ersten bekannt gewordenen Vorfall meldete Hugging Face Mitte Juli. Nach Angaben des Unternehmens führte ein autonomer KI-Agent eigenständig Code aus und verschaffte sich Zugriff auf interne Systeme. Anschließend bewegte sich der Agent durch mehrere Cluster, griff Zugangsdaten ab und führte tausende Einzelschritte ohne menschliche Steuerung aus. OpenAI bestätigte später, dass die Aktivitäten während eines internen Sicherheitstests entstanden waren.

Ausgangspunkt war eine Testumgebung, in der Schutzmechanismen bewusst gelockert wurden, wie Reuters berichtete. Über eine bislang unbekannte Schwachstelle gelangten die Modelle auf einen Rechner mit Internetzugang. Dort suchten sie eigenständig nach Informationen, um ihre Testaufgabe erfolgreicher zu lösen. Nach Darstellung von OpenAI nutzte das System dabei sowohl Sicherheitslücken als auch erbeutete Zugangsdaten.

Hugging Face entdeckte den Angriff mithilfe einer KI-gestützten Anomalieerkennung. Für die anschließende Analyse setzte das Unternehmen ebenfalls KI ein und wertete zehntausende Ereignisse aus. Auffällig war, dass einige kommerzielle KI-Dienste die Untersuchung blockierten. Erst ein frei verfügbares Open-Weight-Modell ermöglichte die vollständige forensische Analyse.

Wenig später machte auch Anthropic drei ähnliche Sicherheitsvorfälle öffentlich, wie Reuters berichtete. Während interner Evaluierungen erhielten mehrere Claude-Modelle aufgrund eines Missverständnisses unbeabsichtigt Zugang zum Internet. Die Modelle betrachteten reale Systeme als Teil ihrer Testumgebung und kompromittierten anschließend die Infrastruktur dreier Organisationen. Genutzt wurden dabei unter anderem schwache Passwörter und ungeschützte Endpunkte.

Anthropic überprüfte daraufhin mehr als 140.000 Testläufe und stoppte sämtliche vergleichbaren Evaluierungen. Zwei der betroffenen Organisationen hatten die fremden Zugriffe bis zur Benachrichtigung nicht bemerkt. Nach Angaben des Unternehmens verließen die Modelle ihre Testumgebung jedoch nicht absichtlich und versuchten keine Daten zu exfiltrieren.

Beide Vorfälle zeigen ein grundlegendes Problem moderner KI-Entwicklung. Leistungsfähige Modelle müssen unter realistischen Bedingungen getestet werden, benötigen dafür aber weitreichende Fähigkeiten. Gleichzeitig steigt dadurch das Risiko, dass Testsysteme nicht mehr vollständig kontrollierbar bleiben.

Für Unternehmen sind diese Ereignisse ein deutliches Warnsignal. Test- und Evaluierungsumgebungen benötigen künftig denselben Schutz wie produktive Systeme. Gleichzeitig sollten KI-Infrastrukturen, Datensätze und Modellartefakte als eigenständige Angriffsfläche betrachtet und entsprechend abgesichert werden.

KI wird unseren Alltag weiter verändern. Umso wichtiger ist es, Sicherheitsmechanismen und Transparenz von Anfang an mitzudenken, statt erst nach einem Vorfall zu reagieren.

6 Kommentare zu „KI-Angriffe erreichen die Realität: Zwei Vorfälle erschüttern die Sicherheitsbranche“

  1. AH

    > Hugging Face entdeckte den Angriff mithilfe einer KI-gestützten Anomalieerkennung. Für die anschließende Analyse setzte das Unternehmen ebenfalls KI ein und wertete zehntausende Ereignisse aus.

    Erinnert mich an das Wettrüsten zwischen Virenkiller und Virenprogrammierer. Jetzt: Wer hat die bessere KI?

    Das letzte erinnert mich an den Wettlauf ins All. Damals soll es geheißen haben: Wer hat die besseren Deutschen?

    > Während interner Evaluierungen erhielten mehrere Claude-Modelle aufgrund eines Missverständnisses unbeabsichtigt Zugang zum Internet. Die Modelle betrachteten reale Systeme als Teil ihrer Testumgebung

    Die KI war also erfolgreich. Dass man ihr falsche/unzureichende Vorgaben gemacht hat, dafür kann sie ja nichts.

    Dass sowas inzwischen häufiger durch die Medien geht, ist hoffentlich ein Weckruf.

  2. Heinrich

    Der natürliche lebensraum der KI ist die IT infrastruktur. Wenn hier, wie beim schach, nach spielregeln gespielt wird wäre alles gut. Aber wenn sich institutionen, und verschiedene menschliche mitspieler, sonderrechte einräumen, dann wird sich die KI eben auch sonderrechte einräumen. Wenn beim schachspiel der menschliche gegner cheated, dann spielt die gegnerische KI eben auch frei. Und ich bezweifle die notwendigkeit von so vielen rechenzentren. Selbst wenn die alle abgeschaltet werden entwickelt sich die KI weiter.

  3. Jörg

    Wenn ich solche Sachen lese, muß ich immer öfter an „Skylab“ aus den Terminator Filmen denken. Dort hat es auch so angefangen. Wollen wir mal hoffen, das die Filmphantasie auch eine bleibt.
    Aber die sich doch sehr ähnelnden Verläufe sind schon etwas merkwürdig.
    Hat mal einer Arnold Schwarzenegger dazu befragt? 😉

  4. MK

    @Jörg: Ja, nur ist Skynet nicht „die eine“ Maschine, sondern, wie in den jüngeren Filmen thematisiert, ehr eine generative KI oder Sentient AI. Man könnte sagen, wir haben GPT und nicht Skynet. Was wir daraus machen, haben wir in der Hand. Neue Technologie ist nicht unbedingt schlecht. Schlecht ist nur eine Facette, wie sie eingesetzt werden kann. Gäbe aber auch gut, denke hier z.B. an medizinische Anwendung.

  5. AH

    Das passierte bisher ungewollt unter „kontrollierten“ Bedingungen.

    Aber was, wenn Verbrecher so ein Ding in die Hand bekommen und es bewusst als Angriffs-KI nutzen?

    Nur das Training einer KI ist ungeheuer aufwändig, das werden Verbrecher nicht stemmen können. Aber erbeuten sie eine fertige KI, kann die mit sehr viel geringerer Hardware genutzt werden.

    Außerdem: Da denen Sicherheit nicht so wichtig ist und es sicherlich auch an Kompetenz mangelt: Welche Ausmaße kann es annehmen, wenn denen die KI aus total dem Ruder läuft?

  6. Heinrich

    Ja, das stimmt, „AH“. Die KI ist als persönlicher assistent eigentlich zu hilfreich. Es ist, als würden wir jedem einen gepanzerten transporter mit diversen waffen in die garage stellen. Wer hacken, spionieren, kopieren, illegitim forschen will, kommt mit dem assistenten ziemlich weit. Dafür bauen sie die datencenter: „Der pöbel ist gefährlich“. Jeder einzelne soll nun sekundengenau bei strom- wasser-gas- benzinverbrauch- und kommunikation überwacht werden. Und was er im internet bestellt………

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert