Anthropic donne à six évaluateurs de METR un accès proche de celui de ses équipes internes
Anthropic a intégré six membres de METR dans ses locaux avec du matériel de l’entreprise et un accès à des outils et systèmes internes comparable à celui de ses propres équipes d’évaluation des risques. METR pourra publier ses analyses sans veto d’Anthropic.
Pourquoi c'est important
Ce dispositif teste une forme d’audit continu plus profonde qu’une évaluation ponctuelle d’un modèle, tout en rendant visibles les limites d’indépendance créées par l’accès et les règles de confidentialité du fournisseur.
Resume
L’accès exclut notamment les données clients, les échanges couverts par le secret professionnel et, par défaut, certaines informations d’architecture. Anthropic peut exiger des occultations dans des catégories prédéfinies, mais METR peut signaler publiquement leur existence et contester leur justification.
Le point a retenir
L’audit des modèles de pointe commence à emprunter au contrôle bancaire son principe d’évaluateurs présents à l’intérieur de l’organisation.
Sources vérifiées
Texte source original
Anthropic a commencé à donner à une équipe de six personnes de METR un accès qu’elle qualifie de proche de celui de ses salariés. Les évaluateurs disposent de matériel de l’entreprise, d’un espace dans ses locaux et d’un accès aux outils et systèmes internes globalement comparable à celui des équipes qui examinent les risques d’alignement. METR doit publier ses évaluations des risques, des incidents ou des pratiques d’Anthropic. Le laboratoire affirme ne pas disposer d’un droit de veto sur ces publications. Il peut cependant demander l’occultation d’informations relevant de catégories étroites définies à l’avance, comme les données clients, le secret professionnel ou certaines informations d’architecture. METR peut alors décrire publiquement les occultations et dire s’il les juge justifiées, sans révéler leur contenu. L’arrangement reste volontaire et limité à une petite équipe liée par des accords exécutoires. Il ne remplace donc pas un contrôle public doté de pouvoirs légaux. Il va néanmoins au-delà d’un simple accès anticipé à un modèle : l’évaluateur peut observer les méthodes, les garde-fous et les décisions internes. Pour les directions de risque, cette expérience fournit un modèle concret d’audit continu, avec des droits de publication mais aussi des frontières explicites.