A l’occasion du sommet pour l’action sur l’intelligence artificielle (IA), l’ANSSI (l’Agence nationale de la sécurité des systèmes d’information) a publié en ce mois de février un document qui s’intitule : « développer la confiance dans l’IA à travers une approche par les risques cyber ».
Cette publication, fruit d’un travail avec de nombreuses agences et autorités internationales pour la cybersécurité, vise à favoriser l’usage des systèmes d’IA tout en « prenant en considération les opportunités, les risques de l’IA et l’évolution de la menace cyber ».
Le choix de l’ANSSI de choisir le prisme des risques et des opportunités pour développer la confiance dans l’IA n’est pas sans rappeler le travail du contract manager ! Par ailleurs, cette publication qui se veut une « analyse haut niveau » se prête particulièrement à une lecture et assimilation par un public de contract managers.
Nous vous proposons ainsi au travers de cet article de revenir sur cette publication et plus particulièrement sur les bonnes pratiques à adopter en matière de contract management quant à l’adoption des systèmes d’IA.
A. Risques informatiques : quelques rappels
Un système d’IA repose sur une infrastructure IT comportant les mêmes vulnérabilités qu’un système d’information traditionnel. Toutefois, l’IA présente des risques spécifiques qui découlent de la nature de ses algorithmes et de sa dépendance aux données.
L’ANSSI identifie trois grandes catégories d’attaques visant les systèmes :
- Empoisonnement des données (data poisoning) : introduction de données malveillantes pour altérer l’apprentissage et fausser les résultats.
- Extraction de modèles (model stealing) : récupération illégale du modèle pour le répliquer ou en tirer des informations sensibles.
- Evasion d’attaques (adversarial attacks) : manipulation des entrées pour tromper l’algorithme et obtenir des décisions erronées.
Ces attaques sont ainsi susceptibles d’altérer plus ou moins gravement un système d’IA, allant de défauts de disponibilités (critiques pour les SLA) à des sujets qui peuvent affecter le raisonnement ou l’autonomie décisionnelle de ces systèmes, au vol ou à la divulgation de données sensibles.
Jusqu’ici, rien de nouveau par rapport aux risques auxquels font face les systèmes d’informations traditionnels. Les systèmes d’IA présentent cependant une différence de taille, vecteur de risques supplémentaires : leur opacité du fait des modèles dits « black box ». En effet, si ces mécanismes ne sont pas nouveaux, le nombre grandissant de paramètres manipulés dans ces boîtes noires (on parle de 1.8 trillions sur GPT4) ainsi que l’utilisation de ces modèles dans des secteurs bancaires, de la justice ou encore de la santé peuvent légitimement nous questionner sur ces nouveaux risques.
B. IA : les nouveaux risques
Outre les attaques ciblant directement les algorithmes d’IA, l’ANSSI met en avant cinq risques majeurs spécifiques à l’intégration de l’IA dans un système d’information :
- La compromission de l’infrastructure d’hébergement et d’administration, au travers des vulnérabilités techniques, organisationnelles ou humaines connues
- La compromission de la chaîne d’approvisionnement, qu’il s’agisse des jeux de données ou bibliothèques open source utilisées pour développer les systèmes d’IA, qui pourraient être attaqués
- Les interconnexions entre systèmes d’IA et autres éléments du système d’information, puisque les interfaces entre IA et systèmes d’information (ERP, CRM, et autres SI industriels) peuvent être utilisées pour extraire de données, compromettre des résultats ou autres
- Les risques humains et organisationnels, parmi lesquels le shadow IA ou la dépendance excessive aux systèmes d’IA qui peuvent entraîner fuite de données, incapacités à détecter des anomalies, violations de lois et règlements ou encore atteintes réputationnelles.
- Les dysfonctionnements dans les réponses apportées par les systèmes d’IA, notamment au travers de compromissions dans l’entraînement visant à générer des réponses erronées
C. Quelles bonnes pratiques pour le contract manager ?
Après être revenu sur les grandes familles d’attaques puis avoir dressé une liste des principaux risques spécifiques aux systèmes d’IA, il est temps de se pencher sur les bonnes pratiques préconisées par l’ANSSI pour appréhender ces risques, et d’en extraire celles qui peuvent faire partie des bonnes pratiques à observer en tant que contract manager.
Ces bonnes pratiques sont, bien entendu, à ajouter à celles concernant plus généralement les systèmes d’information.
La première bonne pratique consiste à se questionner sur l’objectif à atteindre, la proportionnalité de la solution retenue et l’existence de garde-fous. En effet, si la tendance est à l’automatisation et au recours à l’IA massifs, il convient de s’assurer de l’existence de mécanisme de contrôle et de supervision continus permettant d’une part une validation humaine des opérations critiques, et d’autre part de s’assurer du bon fonctionnement, sans biais, hallucinations et avec des niveaux de fiabilité conformes aux attentes. Ces différents mécanismes pourront alors faire l’objet de clauses contractuelles stipulant clairement les mécanismes associés et les modalités de supervision, mais devront aussi s’ajouter à l’ordre du jour des comités et autres réunions de pilotage.
Après un premier travail de questionnement, place à l’analyse du système d’IA ! De quoi ce système est-il composé ? Une bonne pratique consiste à cartographier les principaux composants du système d’IA afin d’en repérer les éléments (matériel, logiciel, données ou encore algorithmes) à suivre de près. Il s’agira ainsi de questionner sur l’origine de ces composants, leur fiabilité, disponibilité, etc. pour prévoir des mécanismes contractuels (clauses, suivi, pénalités, etc.) pour prévenir les dérives.
Après avoir cartographié les composants du système, il conviendra également de s’assurer des rôles et responsabilités des différents acteurs aux interfaces entre systèmes d’IA et autres éléments d’un système d’information, pour éviter les compromissions et autres attaques aux interfaces. Cela pourra se matérialiser par des RACI insérés dans les contrats, entre autres obligations de coordination entre acteurs transverses.
Enfin, la dernière bonne pratique, si elle peut sembler triviale, n’en demeure pas moins indispensable. Elle consiste à se former et s’informer sur l’IA, à procéder à une veille technologique et règlementaire à minima. Pour cela il existe de nombreuses newsletter, certaines pour vulgariser, d’autres plus techniques, qui permettent à tout contract manager, quel que soit son niveau de maintenir ce dernier à flot !
Conclusion
L’introduction des systèmes d’IA dans les processus métier présente des opportunités considérables, mais elle s’accompagne de risques spécifiques qui nécessitent une approche contractuelle rigoureuse. Le contract manager doit intégrer ces enjeux dans les négociations, la rédaction et le pilotage des contrats afin d’assurer une gouvernance efficace et sécurisée de l’IA.
En appliquant les bonnes pratiques identifiées – clarification des responsabilités, encadrement des données et des algorithmes, mise en place de mécanismes de contrôle et de veille technologique – il devient possible d’exploiter le potentiel de l’IA tout en minimisant ses risques, et qui sait peut être y trouver des opportunités.
