Dans la vie professionnelle comme personnelle, l’IA générative (genAI) est très rapidement devenue un outil de référence. Que ce soit sous forme de chat, de copilote métier ou d’agent autonome, elle transforme en profondeur notre paysage numérique, au point de parfois dépasser les fonctions cyber ou IT. Une transformation qui, lorsqu’elle n’est pas encadrée, donne lieu à une nouvelle forme du bien connu Shadow IT : le Shadow IA. Pourtant, la cybersécurité reste primordiale et même l’IA se doit de la respecter.

Si un usage non contrôlé de l’IA constitue déjà une menace, aujourd’hui l’outil devient lui-même un vecteur ou une cible de compromission. Il est alors bien plus difficile d’anticiper un danger si insidieux : les modèles d’intelligence artificielle, désormais plus autonomes, sont peu à peu capables d’interpréter, d’adapter, voire de contourner les barrières de protection. Nous rentrons ainsi dans une nouvelle ère de la cybersécurité, où l’intelligence elle-même doit être surveillée. 

Requêtes et formulations insidieuses

Vouée à protéger l’infrastructure, les utilisateurs et les données, la cybersécurité, avec l’émergence de la genAI, se doit aujourd’hui d’assurer son rôle sur un nouveau périmètre : le langage lui-même.

« Prompt injection », « jailbreak » ou « influence conversationnelle », tels sont les moyens de conduire un modèle à contourner ses propres règles. Par le biais de formulations détournées ou d’enchaînements de requête, on peut faire en sorte que l’intelligence artificielle finisse par répondre à une question qu’elle était censée refuser, ou livrer une information sensible. Mais ce n’est pas tout, les systèmes de sécurité traditionnels se révèlent incapables de détecter, loguer, ni même comprendre ces failles. Trop malléable, l’intelligence artificielle devient alors un point de vulnérabilité à part entière.

Renforcer les systèmes de détection

L’IOC (Indicator of Compromise) est une notion déjà bien établie dans le jargon de la cybersécurité. Elle réfère aux traces, comportements ou éléments avertissant d’une intrusion ou d’une anomalie.

Aujourd’hui, l’essor de l’IA a donné naissance à un nouveau concept : les IOPC (Indicators of Prompt Compromise), des prompts ou des interactions qui signalent un détournement du modèle. Il peut s’agir d’une réponse qui aurait dû être bloquée mais qui a été donnée, d’un changement de comportement progressif à la suite de plusieurs interactions, ou bien d’une instruction qui a été exécutée par un agent IA sans vérification préalable des conditions de sécurité.

Cela ne veut pas nécessairement dire que ces signaux sont malveillants. Mais il faut bien veiller à surveiller et comprendre leur répétition, leur structure ou leur résultat et, si nécessaire, les bloquer. Certaines communautés techniques, à l’image de NOVA, ont déjà pris les devants, en publiant des bases de prompts problématiques, afin de renforcer les systèmes de détection.

IA : quand la menace vient de l’intérieur

Au-delà de défendre l’intelligence artificielle contre les utilisateurs, il est primordial de la protéger contre elle-même. Et pour cause, si elle n’est pas supervisée, elle pourrait générer de fausses recommandations, orienter des décisions critiques ou renforcer des biais. Des erreurs qui pourraient se répandre, gagner en importance ou être instrumentalisées, si aucun garde-fou dynamique n’est mis en place. De ce fait, la vraie menace pourrait également venir de l’intérieur même du système cognitif que l’on construit autour de l’IA.

La cybersécurité comportementale entre alors en jeu. À cet égard, la technologie doit être entraînée pour qu’elle puisse repérer les signaux de dérive. Dans certains cas d’usage, il faut limiter son degré d’autonomie. L’établissement d’un « code de la route » pour l’IA peut aussi s’avérer nécessaire pour introduire des seuils d’alerte comportementaux. Enfin, la supervision humaine ou automatique des dialogues a son rôle à jouer. En d’autres termes, l’IA doit être orchestrée de manière à ce qu’elle sache dire « non », même lorsqu’on ne le lui a pas demandé de manière explicite.

Repenser les cadres de sécurité

Il y a peu, l’approche « secure by design » se révélait particulièrement efficace en matière de sécurité. Désormais, elle devient insuffisante si elle ne s’applique qu’aux infrastructures classiques. Il devient alors indispensable d’établir une architecture de confiance tenant compte de l’intelligence artificielle. Pour ce faire, elle doit inclure différents paramètres : la journalisation des prompts sensibles, l’auditabilité des modèles, le filtrage dynamique des entrées/sorties, la mise en sandbox des agents IA, et des protocoles de remédiation en cas de compromission comportementale.

La question de gouvernance entre également en ligne de compte. Quels utilisateurs pourront modifier un modèle ? Lesquels pourront en entraîner de nouveaux ou valider les réponses ? Comment se déroulera la validation de prompts, d’usages ou de décisions ?

C’est pourquoi il est nécessaire d’encourager et récompenser les bonnes pratiques, mais aussi d’être strict sur les normes et les seuils : des sanctions doivent s’imposer si l’entreprise ou ses collaborateurs sont mis en danger en cas de dérive.

Surveiller l’IA pour la rendre plus sûre

Capable de raisonner, d’apprendre et de s’adapter, l’intelligence artificielle va bien au-delà du simple outil. Si sa puissance et son potentiel ne sont plus à démontrer, il ne faut pas négliger sa grande vulnérabilité.

Elle vient remettre en question des principes bien établis en matière de cybersécurité : défendre des systèmes statiques se révélera bientôt inefficace. L’heure est à l’encadrement d’intelligences en mouvement et à l’anticipation de leurs déviations. Construire une IA dans laquelle on pourra avoir confiance passe par lui donner les moyens (techniques, éthiques et comportementaux) de s’autoréguler. Il s’agit là d’une condition sine qua non pour bénéficier d’un environnement numérique maîtrisé, durable et responsable. 

Plus d'infos sur les solutions Insight pour l'IA générative.

Avez-vous des questions ?

Contacter un de nos experts