Ahmad Shadid, d'O.XYZ, prévient que les priorités en matière de sécurité nationale pourraient compromettre l'équité et la transparence de l'IA

Avant l’investiture de l’actuel président des États-Unis, Donald Trump, le Institut National des Standards et de la technologie (NIST) a achevé un rapport sur la sécurité des modèles d’IA avancés. 

En octobre dernier, une conférence sur la sécurité informatique à Arlington, en Virginie, a réuni un groupe de chercheurs en IA qui ont participé à un exercice pionnier de « red teaming » visant à tester rigoureusement un modèle de langage de pointe et d'autres systèmes d'IA. En deux jours, ces équipes ont découvert 139 nouvelles méthodes pouvant entraîner le dysfonctionnement des systèmes, comme la production de fausses informations ou l'exposition de données sensibles. Fait crucial, leurs conclusions ont également révélé des faiblesses dans une récente norme du gouvernement américain destinée à guider les entreprises dans l'évaluation de la sécurité des systèmes d'IA.

Destiné à aider les organisations à évaluer leurs systèmes d’IA, le Ecojustice Il s'agissait de l'un des nombreux documents sur l'IA rédigés par le NIST dont la publication n'a pas été autorisée en raison de conflits potentiels avec l'orientation politique de la nouvelle administration.

Dans une interview avec Mpost, Ahmad Shadid , Chef de la direction O.XYZ , un écosystème décentralisé basé sur l'IA, a discuté des dangers de la pression politique et du secret dans la recherche sur la sécurité de l'IA.

Qui est autorisé à divulguer les résultats de l'équipe rouge du NIST ?

Selon Ahmad Shadid, la pression politique peut influencer les médias, et le rapport du NIST en est un parfait exemple. Il a souligné la nécessité de chercheurs, d'universités et de laboratoires privés indépendants, qui ne soient pas soumis à de telles pressions.

« Le problème, c'est qu'ils n'ont pas toujours le même accès aux ressources ou aux données. C'est pourquoi nous avons besoin – ou plutôt, tout le monde a besoin – d'une base de données mondiale et ouverte sur les vulnérabilités de l'IA, à laquelle chacun peut contribuer et dont il peut tirer des enseignements », a déclaré Ahmad Shadid. Mpost« Il ne devrait y avoir aucun filtre gouvernemental ou privé pour de telles recherches », a-t-il ajouté.

La dissimulation des vulnérabilités de l'IA entrave les progrès en matière de sécurité et favorise les acteurs malveillants, prévient Ahmad Shadid.

Il a également expliqué les risques associés à la dissimulation des vulnérabilités au public et comment de telles actions peuvent entraver les progrès en matière de sécurité de l’IA.

« Cacher des recherches éducatives clés donne aux mauvais acteurs une longueur d’avance tout en gardant les bons dans l’ignorance », a déclaré Ahmad Shadid.

Les entreprises, les chercheurs et les startups ne peuvent pas résoudre les problèmes dont ils ne sont pas conscients, ce qui peut créer des obstacles cachés pour les entreprises d’IA et entraîner des défauts et des bugs dans les modèles d’IA. 

Selon Ahmad Shadid, la culture open source a joué un rôle fondamental dans la révolution logicielle, favorisant à la fois le développement continu et le renforcement des programmes grâce à l'identification collective des vulnérabilités. Cependant, dans le domaine de l'IA, cette approche a largement diminué ; Meta envisagerait par exemple de rendre son processus de développement en code source fermé.

« Ce que le NIST a caché au public en raison de pressions politiques aurait pu être la connaissance exacte dont l'industrie avait besoin pour faire face à certains des risques liés aux LLM ou aux hallucinations », a déclaré Ahmad Shadid à Mpost« Qui sait, les mauvais acteurs pourraient être occupés à profiter des « 139 nouvelles façons de briser les systèmes d'IA », qui ont été incluses dans le rapport », a-t-il ajouté.

Les gouvernements ont tendance à privilégier la sécurité nationale plutôt que l'équité et la transparence en matière d'IA, ce qui porte atteinte à la confiance du public. 

La suppression des recherches sur la sécurité reflète un problème plus large dans lequel les gouvernements privilégient la sécurité nationale au détriment de l’équité, de la désinformation et des préoccupations en matière de partialité. 

Ahmad Shadid a souligné que toute technologie utilisée par le grand public doit être transparente et équitable. Il a insisté sur la nécessité de la transparence plutôt que du secret, soulignant que la confidentialité entourant l'IA souligne son importance géopolitique.

Les grandes économies comme les États-Unis et la Chine investissent massivement – notamment des milliards en subventions et en acquisition agressive de talents – pour obtenir un avantage dans la course à l’IA.

« Lorsque les gouvernements privilégient la notion de "sécurité nationale" à l'équité, à la désinformation et aux préjugés – pour une technologie comme l'IA, présente dans les poches de 378 millions d'utilisateurs –, ils affirment en réalité que ces questions peuvent attendre. Cela ne peut que conduire à la construction d'un écosystème d'IA qui protège le pouvoir, et non les personnes », a-t-il conclu.