Dev News Daily ENDE

OpenAI holt Apollo Research, METR, Transluce und Goodfire für eingebettete Prüfungen

OpenAI teilte am 16. November mit, Vereinbarungen mit vier unabhängigen Prüfern geschlossen zu haben - Apollo Research, METR, Transluce und Goodfire - für eine erste Phase sogenannter eingebetteter Prüfungen. Je nach Bedarf der jeweiligen Prüfung erhalten sie einen Teil der internen Ressourcen, die auch die Forscher des Unternehmens nutzen: Modell-Checkpoints, Quellcode, Trainings- und Evaluationsdaten, Überwachungssysteme, Dokumentation und Gespräche mit den Verantwortlichen. Die ersten Prüfungen betreffen Alignment und Schutzmaßnahmen von Modellen während des Trainings und der internen Nutzung.

Apollo Research prüft in zwei Stufen vier Aussagen: dass das Training keinen Anreiz zur Subversion gesetzt hat, dass strenge Tests und Red Teaming sie nicht hervorrufen, dass Modelle sie bei interner Nutzung nicht versucht haben und dass die Überlegungen dahinter erkennbar wären. METR untersucht fehlausgerichtetes Verhalten im bisher größten Reinforcement-Learning-Lauf von OpenAI, auch Fehler, die bestehende Tests und Monitore übersehen haben könnten; eine zweite, breitere Prüfung der Monitore ist nur vorläufig vereinbart, der Umfang steht noch aus. Transluce bewertet Qualität und Abdeckung der Alignment-Evaluationen nach dem Training, eine Folgeprüfung von etwa acht Wochen ist für Anfang 2027 geplant. Goodfire bringt Interpretierbarkeitsforscher für Überwachung und Fehlersuche in Trainingsläufen ein; Hauptadressat sind die Forscher von OpenAI, veröffentlicht werden sollen aber auch Erkenntnisse.

Der Beitrag beschreibt die Regeln. Wer sensible Informationen braucht, arbeitet vor Ort in den Büros von OpenAI an Geräten des Unternehmens. Der Safety and Security Committee im Vorstand der OpenAI Foundation erhält ungeschwärzte Berichte und kann privat mit den Prüfern sprechen; Streitfragen gehen an die Safety Advisory Group und die Geschäftsleitung und, falls ungelöst, an den Ausschuss. Gespräche mit Beschäftigten sind vertraulich, doch Prüfer können von OpenAI bestätigte Aussagen anfordern und entweder diese veröffentlichen oder die Tatsache, dass OpenAI die Bestätigung verweigert hat. Die Prüfer veröffentlichen unabhängig, OpenAI behält aber das Recht, vertrauliche Informationen zu schwärzen, und kann um Aufschub bitten, um Befunde zu beheben. Wo Zugang Gewichte oder Architektur offenlegen könnte, kann OpenAI Prüfer stattdessen mit eigenen Forschern zusammenarbeiten lassen.

OpenAI verbindet die Arbeit mit seinen Zusagen aus dem White House Accord on Super Intelligence, in dem es unabhängigen Prüfungen seiner Sicherheitskontrollen zugestimmt hat.

OpenAI holt Apollo Research, METR, Transluce und Goodfire für eingebettete Prüfungen
OpenAI holt Apollo Research, METR, Transluce und Goodfire für eingebettete Prüfungen — Dev News Daily

Warum es zählt

Der Wert einer solchen Prüfung hängt mehr an den Bedingungen als an den Namen. Hier sind sie aufgeschrieben: wer den ungeschwärzten Bericht sieht, was mit einem Streit geschieht und dass auch eine verweigerte Bestätigung veröffentlicht werden darf. Aufgeschrieben sind auch die Grenzen - Schwärzungsrecht, Aufschub und Zugang, über den noch verhandelt wird.