Anthropic donne à six chercheurs de l’organisation METR un accès proche de celui de ses employés, pour évaluer ses risques et ses garde-fous. Ils peuvent publier leurs conclusions sans accord préalable, Anthropic ne pouvant demander que le retrait de données sensibles précises.

Qui vérifie ce que les laboratoires d’IA affirment sur leur propre sécurité ? Anthropic répond en partie en ouvrant ses locaux à des experts indépendants, qui pourront publier leurs conclusions, y compris défavorables, sans son feu vert. L’enjeu est de réduire l’écart d’information entre les développeurs d’IA et le reste du monde.

Anthropic annonce avoir donné à une équipe de six personnes de METR, une organisation à but non lucratif qui évalue les capacités et les risques des modèles d’IA de pointe, un accès de type employé à ses systèmes.

Les chercheurs étudieront les risques de l’IA et la façon dont l’entreprise gère sa sécurité, puis publieront leurs résultats de manière indépendante. Anthropic précise qu’elle ne peut pas bloquer la publication de leurs rapports.

  • Sécurité nationale vs éthique : l’ultimatum sans précédent du Pentagone contre Anthropic

Un accès proche de celui des employés

Anthropic fournit aux chercheurs de METR des ordinateurs portables de l’entreprise et des bureaux.

Ils ont accès aux outils et aux systèmes qu’utilise son équipe interne d’évaluation des risques.

Ils ne cherchent pas seulement à savoir si un modèle peut adopter un comportement dangereux : ils examinent aussi si l’entreprise fait bien fonctionner ses dispositifs de sécurité, regardent comment elle a réagi quand un problème est survenu et peuvent interroger directement ses employés.

  • Cybercriminalité : Comment des pirates francophones et des agences basées en France détournent l'IA Claude d'Anthropic

Publier sans accord, avec des limites étroites

METR n’a pas besoin de l’approbation d’Anthropic pour publier.

L’entreprise peut en revanche exiger la suppression d’informations relevant de catégories étroites : données clients, informations couvertes par le secret avocat-client et architectures de modèles.

METR garde le droit de dire publiquement si ces demandes lui paraissent légitimes, sans révéler le contenu retiré.

Trois niveaux d’accès pour les évaluateurs

Anthropic organise l’accès des évaluateurs externes en trois niveaux.

  • Au premier niveau, ils mènent des examens ciblés et ne publient qu’avec l’approbation de l’entreprise.
  • Au second niveau, ils peuvent publier sans approbation et disposent de davantage d’informations.
  • Enfin au troisième, ils reçoivent en plus un accès de type employé, comme METR.

D’autres organismes participent déjà. SecureBio, spécialisée dans les risques biologiques, examine le chapitre sur les armes chimiques et biologiques du rapport de risques publié par Anthropic en août. Son accès est plus limité que celui de METR, et la publication de ses conclusions reste soumise à l’approbation d’Anthropic, qui discutera d’un élargissement de ses droits une fois la revue terminée.

Accenture et Faculty préparent un partenariat plus large, couvrant l’évaluation, les tests adverses (red-teaming) et les tests de sécurité. Des discussions préliminaires ont lieu avec Hugging Face, et Anthropic veut augmenter le nombre d’évaluateurs externes bénéficiant d’un accès de type employé.

Combler un écart d’information

Cette ouverture répond à un déséquilibre : les développeurs connaissent mieux que personne la façon dont leurs modèles ont été conçus et les protections appliquées, alors que les experts extérieurs peinent à vérifier les évaluations de sécurité que les entreprises publient.

Anthropic compare sa démarche à la supervision bancaire, où des examinateurs extérieurs contrôlent de l’intérieur la situation et les risques des banques, tout en précisant que l’analogie n’est pas exacte

Anthropic estime que toutes les entreprises d’IA de pointe devraient prendre des mesures comparables. À ce stade, la portée réelle de l’accès et les conditions de publication restent à préciser.