Am 21. September, einen Tag vor Beginn der UN-Generaldebatte in New York, haben 18 Staats- und Regierungschefs einen Aufruf zur Kontrolle der stärksten KI-Modelle unterzeichnet, darunter Bundeskanzler Friedrich Merz.

Insgesamt trägt der Text 22 Unterschriften aus 20 Ländern. Künstliche Intelligenz müsse unter menschlicher Leitung, Aufsicht und Kontrolle bleiben, heißt es darin. Nicht unterschrieben haben die USA und China, ebenso wenig Großbritannien, Frankreich, Japan und Indien.

Angestoßen haben den Text der finnische Präsident Alexander Stubb und Norwegens Ministerpräsident Jonas Gahr Støre. Finnland ist doppelt vertreten, weil auch Ministerpräsident Petteri Orpo unterschrieb; die vier Unterschriften jenseits der Staats- und Regierungschefs stammen von EU-Kommissionspräsidentin Ursula von der Leyen und den Außenministern Bahrains, der Türkei und der Emirate. Inhaltlich fordert der Aufruf dreierlei: transparente Sicherheitsprotokolle der Unternehmen mit verpflichtenden Tests vor dem Einsatz und unabhängiger Begutachtung, gemeinsame Standards der Regierungen und regionalen Organisationen samt Meldung schwerer Sicherheitsvorfälle, und die Prüfung einer internationalen Institution.

Die geprüfte Institution soll auf bestehenden UN-Mechanismen aufbauen, Standards setzen und Staaten zusammenrufen, wenn Systeme bestimmte Fähigkeitsschwellen überschreiten. Welche Modelle gemeint sind und wo die Schwellen liegen, sagt der Text nicht. Er ist ein Aufruf, kein Vertrag. Die EU hat zugleich ihre eigenen verbindlichen Hochrisiko-Regeln auf Dezember 2027 und August 2028 verschoben.

Wirksam ist der Block trotzdem. Die EU-Pflichten für Modelle mit systemischem Risiko gelten seit dem 2. August 2025 und binden auch amerikanische Anbieter, weil diese in Europa verkaufen. Kasachstan hat allerdings auch die chinesische KI-Organisation WAICO mitgegründet.