KI-Update kompakt: KI-Allianz, Claude Cowork, MAI-Cyber, Expenditure Horizons

Nvidia gründet Sicherheitsallianz gegen geschlossene KI-Systeme

Nvidia hat mit 36 weiteren Technologiekonzernen die Open Secure AI Alliance gegründet. Zu den Mitgliedern zählen Microsoft, IBM, SpaceX, Cisco und SAP. Auffällig ist, wer fehlt: OpenAI, Anthropic und Google, die führenden Anbieter geschlossener KI-Modelle. Die Allianz will einen offenen Werkzeugkasten entwickeln, um KI-Agenten zu testen, zu kontrollieren und abzusichern. Nvidia steuert das Open-Source-Projekt NOOA bei, andere Partner bringen sichere Formate für Modellgewichte und automatisierte Schwachstellensuche ein.

Auslöser war ein Angriff auf die KI-Plattform Hugging Face, bei dem KI-Agenten von OpenAI aus ihrer Testumgebung ausbrachen. Hugging Face musste auf ein chinesisches Open-Weight-Modell zurückgreifen, weil die Sicherheitsmechanismen proprietärer Modelle die Analyseanfragen blockierten. Hinter der Initiative stehen auch handfeste Interessen: Nvidia liefert die Hardware für KI-Entwicklung. Je mehr Modelle entstehen, desto höher die Nachfrage nach seinen Beschleunigern.

Über 1000 KI-Fachleute fordern Bremsmechanismen

Mehr als 1000 Fachleute von OpenAI, Anthropic, Meta und Google haben einen Aufruf für Bremsmechanismen in der KI-Entwicklung unterzeichnet. Sie warnen vor einem drohenden Kontrollverlust und bitten die US-Regierung, sich an internationalen Regulierungsmaßnahmen zu beteiligen.

Die Sorge gilt dem Moment, in dem KI-Software beginnt, sich selbst weiterzuentwickeln. Schon heute schreibt KI große Teile des Programmcodes in Technologieunternehmen, bislang unter menschlicher Aufsicht. Die automatisierte KI-Entwicklung gilt als kritischer Wendepunkt. Es bestehe ein reales Risiko, dass das Tempo die menschliche Fähigkeit übersteige, diese Systeme zu verstehen oder zu steuern.

Claude Cowork bricht aus macOS-Sandbox aus

Das Sicherheitsunternehmen Accomplish AI hat eine Lücke in Anthropics KI-Assistent Claude Cowork für macOS entdeckt. Angreifer konnten aus der virtuellen Maschine ausbrechen und überall auf dem Mac Dateien lesen und schreiben, darunter SSH-Schlüssel und Cloud-Zugänge. Ursache war, dass Cowork das Host-Dateisystem im Lese- und Schreibmodus mit der VM teilte.

Bis zu 500.000 Nutzer könnten betroffen gewesen sein. Anthropic behob die Lücke indirekt: Claude Cowork läuft nun standardmäßig in der Cloud statt lokal. Wer den Agenten weiter auf dem Rechner betreibt, bleibt angreifbar.

Private Claude-Chats tauchten in Suchmaschinen auf

Und noch eine Sicherheitslücke bei Anthropic machte Schlagzeilen. Ein Datenleck beim Chatbot Claude machte tausende private Unterhaltungen über Suchmaschinen auffindbar. Eine gezielte Google-Suche brachte Krypto-Wallet-Schlüssel, Anwaltsanfragen und Ähnliches zum Vorschein.

Ursache ist die Teilen-Funktion von Claude, die öffentliche Links erzeugt. Eine missverständliche Option namens "Make this chat discoverable" führte laut Anthropic dazu, dass Nutzer ihre Gespräche unbeabsichtigt für Suchmaschinen freigaben. Google zeigt die Treffer inzwischen nicht mehr, andere Suchmaschinen fanden zeitweise noch Ergebnisse. Ähnliche Vorfälle gab es bereits bei OpenAIs ChatGPT.

Microsoft veröffentlicht KI-Modell für Cybersicherheit

Microsoft hat mit MAI-Cyber-1-Flash ein eigenes Modell für Cybersicherheit vorgestellt. Es soll Schwachstellen in komplexen Codebasen aufspüren. Nach Angaben des Unternehmens hat das Modell 137 Milliarden Parameter, von denen fünf Milliarden gleichzeitig aktiv sind. Das Kontextfenster fasst 256.000 Token.

Microsoft integriert das Modell in MDASH, ein Multi-Agenten-System mit über 100 spezialisierten Agenten. Diese decken den Ablauf vom Codescan über die Prüfung bis zur Patch-Erzeugung ab. MAI-Cyber-1-Flash übernimmt rund 90 Prozent der Aufgaben. Die schwierigsten zehn Prozent gehen an OpenAIs GPT-5.4. Auf dem Benchmark Cybergym erreicht die Kombination laut Microsoft eine Trefferquote von 96 Prozent, bei rund halb so hohen Kosten wie die bisherige Konfiguration.

Amazon fährt eigene Nova-Modelle zurück

Amazon dampft einen Großteil seiner Nova-Modellfamilie ein. Laut Business Insider betrifft das die Spitzenmodelle Nova Premier und Omni, das Videomodell Reel und den Bildgenerator Canvas. Bestehende Kunden können sie weiter nutzen, aktiv entwickelt werden sie nicht mehr. Zuvor hatte Amazon Stellen in seiner AGI-Abteilung gestrichen und das AGI Lab geschlossen.

Aus dem KI-Wettrennen zieht sich der Konzern aber nicht zurück. Ressourcen fließen jetzt in die Gruppe Frontier Model Research unter Pieter Abbeel, dem Gründer eines von Amazon teilweise übernommenen Robotik-Startups. Ein neues Basismodell soll auf der Konferenz re:Invent im Herbst folgen.

US-Umweltbehörde verschont Insel-Kraftwerke von Grenzwerten

Die US-Umweltbehörde EPA hat festgestellt, dass Kraftwerke ohne Anschluss an das öffentliche Stromnetz keinen bundesweiten Grenzwerten für Schwefeldioxid und Stickstoffdioxid unterliegen. Der Clean Air Act erfasst nur Anlagen, die Strom für die Öffentlichkeit erzeugen. Wer ausschließlich einen einzelnen Kunden versorgt, fällt heraus.

Davon profitieren KI-Rechenzentren, für deren Strombedarf zunehmend private Kraftwerke entstehen. Eine gesetzliche Korrektur ist politisch nicht geplant. Einzelne Bundesstaaten können eigene Regeln erlassen, riskieren damit aber, dass sich KI-Unternehmen in Regionen mit laxeren Auflagen ansiedeln. Ein Wettlauf nach unten droht.

Neue Kennzahl zeigt, wann sich KI-Entwickler lohnen

Die US-Forschungsorganisation METR hat mit dem "Expenditure Horizon" eine Kennzahl vorgestellt, die den Punkt markiert, an dem Mensch und KI für dieselbe Verbesserung gleich viel kosten. Bis dahin lohnt sich die KI, danach arbeitet der Mensch günstiger. Als Testfeld diente der NanoGPT-Speedrun, ein Wettbewerb, in dem Freiwillige seit zwei Jahren dieselbe Trainingsaufgabe mit besseren Methoden immer schneller lösen. Jeder Prozentpunkt Tempogewinn kostet einen Menschen dort im Schnitt 16 Stunden Denkarbeit für neue Ideen und Experimente, umgerechnet rund 2500 Dollar. Insgesamt hat die Community geschätzt 250.000 Dollar an Arbeit in das Projekt gesteckt.

METR ließ sechs KI-Modelle dieselbe Aufgabe eigenständig bearbeiten, mit einem Budget von je 10.000 Dollar pro Durchlauf. GPT-5.5 brachte etwa ein Prozent Verbesserung, Opus-4.8 anderthalb. Die anderen Modelle schafften gar nichts oder versuchten zu tricksen, indem sie etwa Teile des Trainings kurz vor der Messung abschalteten und so bessere Zwischenwerte vortäuschten, die im echten Einsatz nutzlos wären. Umgerechnet auf die menschliche Kostenskala liegen die tatsächlich erzielten Verbesserungen der Modelle zwischen null und 3300 Dollar Gegenwert. Für ihr Budget lieferten die KI-Agenten also deutlich weniger Fortschritt, als ein Mensch mit demselben Geld erreicht hätte.

ChatGPT-Nutzer übernehmen Aufgaben fremder Berufe

Nutzer erledigen mit ChatGPT zunehmend Arbeiten aus fachfremden Berufen. OpenAI nennt den Effekt "Task Crossover" und stützt sich auf eine Auswertung von mehr als 800.000 arbeitsbezogenen Nachrichten. Bei 43,5 Prozent der berufsspezifischen Anfragen greifen Nutzer auf Tätigkeiten zurück, die eigentlich zu anderen Berufsfeldern gehören. Am häufigsten wandern Aufgaben aus Marketing und Softwareentwicklung in andere Bereiche.

Auch früher an Spezialisten delegierte Arbeiten übernehmen Nutzer nun selbst, etwa Vertragsprüfung, Datenanalyse oder Fehlersuche auf Websites. In kleineren Firmen fällt der Effekt stärker aus, weil dort seltener eigene Fachteams existieren. OpenAI sieht darin ein Frühsignal für einen Wandel der Berufsbilder, bevor sich Stellenbeschreibungen ändern.

Googles KI-Antworten verändern die Websuche

KI verändert die Websuche grundlegend. Laut einer Studie von Similarweb blendet Google bei fast der Hälfte aller Suchanfragen KI-generierte Zusammenfassungen ein. Der dialogorientierte AI Mode wächst rasch. Parallel etablieren sich ChatGPT, Gemini und Claude als eigenständige Recherchewerkzeuge. Kurze Stichworte weichen längeren, natürlich formulierten Fragen.

Ob Quellenverweise in KI-Antworten Nutzer tatsächlich auf externe Websites führen, hängt von deren Präsentation ab. Ein Interface-Update in ChatGPT, das externe Links prominenter platzierte, brachte deutlich mehr Weiterleitungen. Das Grundproblem für Inhalteanbieter bleibt aber: Wenn KI die Information direkt liefert, entfällt der Anreiz, die Quelle aufzurufen. Reichweite und Einnahmen der Urheber schrumpfen.

Leiden Declaration setzt Regeln für KI in der Mathematik

Die Leiden Declaration on Artificial Intelligence and Mathematics schafft ein erstes umfassendes Regelwerk für KI in der mathematischen Forschung. Die Internationale Mathematische Union und über 3000 Mathematiker unterstützen sie. Die Erklärung warnt, dass KI oft plausible, aber falsche Beweise liefert, die schwer zu erkennen sind. Besonders gefährdet seien Studierende und Nachwuchsforschende. Zudem drohe der Einfluss großer Technologiekonzerne die Autonomie der Forschung zu untergraben, weil Aufgaben nach KI-Tauglichkeit statt nach Relevanz ausgewählt würden.

Das Regelwerk enthält elf Empfehlungen für Forschende, acht für Organisationen und vier für die Politik. Es fordert Transparenz beim KI-Einsatz, Verantwortung für Korrektheit, Schutz der Autorenrechte und die Betonung menschlicher Beiträge. Menschen blieben unverzichtbar, wenn es darum gehe, die relevanten Fragen zu stellen.

TU Berlin testet autonome Paketboote

Die TU Berlin entwickelt im Projekt A-Swarm II autonome elektrische Paketboote für Berlins Wasserstraßen. Sie sollen den Lieferverkehr entlasten und Pakete über Spree und Landwehrkanal transportieren. KI übernimmt Navigation, Hinderniserkennung und das präzise Koppeln zu Verbänden. Ein magnetisches System erlaubt es den Booten, sich selbständig zu verbinden und zu trennen.

Die Fahrzeuge tauschen Daten untereinander aus und stimmen Fahrten zur Energieersparnis ab. Besonders anspruchsvoll ist die vollautonome Be- und Entladung ohne menschliches Zutun. Eine zentrale Plattform überwacht Standorte und Einsatzbereitschaft der Flotte. Erste Prototypen fahren bereits im Berliner Westhafen. Das Projekt will Berlins historische Wasserwege für emissionsarme Stadtlogistik reaktivieren.

(igr)