Projets et méthode
Robustesse et impacts : ce que nous évaluons, et comment.
Nous éprouvons la robustesse des systèmes d'IA, nous mesurons leurs effets sur les personnes et sur la société, et nous proposons des manières souhaitables de les intégrer.
Pourquoi maintenant
L'IA entre dans l'éducation, le travail, la santé et la vie intime plus vite qu'on n'en mesure les effets. Chaque choix de conception installe des habitudes difficiles à défaire.
Notre point de départ
Une connaissance technique de première main. Savoir comment un modèle est entraîné, évalué et déployé montre où agir.
Quatre champs de travail
Des défaillances d'un système à ce qu'il change chez ceux qui s'en servent.
-
01
Robustesse
Résistance d'un système aux usages malveillants et aux contournements, mesurée avec ce qu'elle coûte en production : faux positifs, latence, prix. C'est le terrain de BELLS-O, notre première évaluation de référence.
Question typeQuel superviseur détecte le mieux les attaques sans bloquer les requêtes légitimes, et à quel coût ?
-
02
Impacts sur la personne
Effets sur la cognition, l'apprentissage, la santé et la productivité, étudiés empiriquement. Nos préférences, notre attention et nos capacités sont façonnées par les outils que nous utilisons : ces effets sont réels, mesurables et cumulatifs.
Question typeUn assistant allège‑t‑il l'effort d'apprendre, ou l'apprentissage lui-même ?
-
03
Impacts sur la société
Transformations déjà à l'œuvre, moins spectaculaires qu'un scénario catastrophe mais bien présentes : ce que l'IA change au travail, à la culture et à la manière de produire du savoir.
Question typeQue devient un métier, ou une pratique scientifique, quand une part du travail est déléguée à un modèle ?
-
04
Intégration souhaitable
Mesurer ne suffit pas : nous proposons et évaluons des solutions concrètes, pour que chaque choix de conception soit fait en connaissance de cause plutôt que par défaut.
Question typeQuelle friction faut‑il laisser dans une interface pour que l'utilisateur reste l'auteur de ses décisions ?
Démarche
Trois temps, du concept à la solution.
-
Temps 1
Cartographier
Poser les concepts à l'intersection des sciences de l'IA, des neurosciences cognitives, de la philosophie de la technique et des sciences sociales.
-
Temps 2
Mesurer
Définir des protocoles d'évaluation ciblés, pour la robustesse comme pour les impacts, et les appliquer dans les conditions réelles d'usage.
-
Temps 3
Proposer
Formuler des solutions concrètes, puis les évaluer avec la même exigence que les systèmes qu'elles corrigent.
Principes
La science des mesures, la conscience de leurs conséquences.
Indépendance
Aucun lien capitalistique avec les développeurs évalués. Nos conclusions ne se négocient pas.
Reproductibilité
Protocoles documentés, versionnés et rejouables. Chaque score peut être retracé jusqu'à sa source.
Transparence
Méthodologies publiques, limites explicites. Ce que nous ne mesurons pas est dit aussi clairement que ce que nous mesurons.
Ancrage européen
Données hébergées en Europe, cadre de travail pensé avec l'AI Act et son Code de bonnes pratiques pour l'IA à usage général.
Deux exigences
Il n'existe pas une seule manière souhaitable de vivre avec l'IA.
Pluralité
Il y a autant de bonnes manières d'intégrer l'IA que de cultures et de langues. Une intégration doit pouvoir s'adapter, pas s'exporter à l'identique.
Débat démocratique
Quels usages encourager, quelles limites fixer : c'est aux sociétés concernées d'en décider. Notre rôle est d'éclairer ces choix.
Un projet dans l'un de ces champs ?
Un système à évaluer, une décision publique à éclairer, un projet de recherche : parlons-en.