Livre complémentaire
Compendium Gouvernance & Risques IA
Approfondissement des §6 à §8 du Standard : registre de risques complet, comité de gouvernance IA, protocole d'escalade, correspondances documentées avec ISO/IEC 42001 et le NIST AI RMF, études de cas gouvernance.
Gouvernance embarquée : remplacer les rituels par des seuils
Les jalons calendaires cèdent la place à des seuils déclencheurs : un point de contrôle humain se déclenche quand un événement le justifie, jamais parce que « c'est vendredi ». Le tableau d'exceptions remplace le point d'avancement : consulté à la demande, il documente pour chaque seuil déclenché le propriétaire humain nommé et le délai de reprise attendu.
Seuil de risque
Un indicateur de risque IA franchit un plafond défini à la conception.
Seuil de confiance
La confiance de l'agent dans son propre résultat descend sous un plancher défini.
Seuil de nouveauté
La situation rencontrée n'est pas couverte par les garde-fous existants.
Seuil calculé par un agent-vérificateur distinct
Le calcul du seuil lui-même est confié à un agent séparé de l'agent producteur (principe 11).
Les 8 catégories de risques IA de base
7.1 Hallucination
Production d'une information plausible mais fausse ou non vérifiable, présentée comme un fait.
7.2 Fuite de données & confidentialité
Exposition de données sensibles via les entrées, les sorties ou les outils d'un agent.
7.3 Biais & équité
Décisions ou sorties systématiquement défavorables à un groupe.
7.4 Dérive (drift)
Dégradation progressive de la qualité des sorties par changement des données ou du modèle.
7.5 Dépendance excessive
Perte de compétence ou de maîtrise humaine sur une tâche déléguée.
7.6 Sécurité & cyber
Injection de prompt, détournement d'outils, compromission de la chaîne d'agents.
7.7 Non-conformité réglementaire & propriété intellectuelle
Violation d'une obligation légale, contractuelle ou de droits de tiers.
7.8 Réputationnel
Atteinte à l'image par une sortie ou une décision d'agent rendue publique.
§7.9 — Les 8 risques spécifiques à l'échelle agentique
Chaque risque porte son statut de preuve
| # | Risque | Description | Mitigation AIPM | Statut de preuve |
|---|---|---|---|---|
| 7.9.1 | Perte simultanée d'exécution et de maîtrise humaine | Le risque naît quand le canal de recours humain disparaît en même temps que l'exécution. | Champ obligatoire « canal d'escalade humaine garanti » dans la Fiche Directive. | Confirmé opérationnel |
| 7.9.2 | Rupture au moment du handoff humain, pas au moment du volume | Le système tient à grande échelle jusqu'au point de transfert vers un humain : c'est ce point précis qui casse. | Le tableau d'exceptions documente le propriétaire humain et le délai de reprise à chaque seuil. | Confirmé opérationnel |
| 7.9.3 | Hallucination non mesurée en production | Le risque n'est pas le taux d'hallucination lui-même mais l'absence de mesure continue une fois le pilote terminé. | Méthode de vérification anti-hallucination explicite pour toute Directive à fort enjeu documentaire. | Confirmé (agrégat sectoriel) |
| 7.9.4 | Sous-gouvernance à l'échelle (coûts, valeur, contrôle) | Un déploiement lancé sans owner de gouvernance ni budget de contrôle échoue pour des raisons prévisibles. | Checklist de pré-lancement obligatoire au-delà d'un seuil de volume/impact. | Recherche/projection + Annoncé/projeté |
| 7.9.5 | Dérive collective d'une flotte d'agents | Agents qui se valident mutuellement à tort — aucun cas opérationnel de défaillance documenté à ce jour. | Séparation agent-producteur / agent-vérificateur (principe 11). | Théorique — non confirmé |
| 7.9.6 | Concentration de la valeur : l'échec silencieux de la majorité | L'IA agentique échoue silencieusement dans la majorité des organisations pendant qu'une minorité capte la valeur. | Modèle de maturité calibré sur le cas majoritaire, pas seulement sur les pointes avancées. | Confirmé + Recherche/projection |
| 7.9.7 | Métrique trompeuse : l'automatisation progresse, le coût total progresse plus vite | Un excellent taux d'automatisation peut coexister avec une dégradation économique réelle. | Chaque métrique rapportée à une base de volume/demande, jamais en avant/après brut. | Confirmé opérationnel |
| 7.9.8 | Confusion « annoncé » et « opérationnel » dans le calibrage du risque | Calibrer une exigence de gouvernance sur une promesse non vérifiée plutôt que sur un fait mesuré. | Statut de fiabilité à 3 niveaux exigé pour tout cas tiers cité en référence. | Règle méthodologique transversale |
Le risque 7.9.5 est délibérément conservé malgré l'absence de cas opérationnel confirmé : son statut « théorique, non confirmé » est affiché explicitement plutôt que maquillé derrière un cas qui ne le prouve pas.
Modèle de maturité : la calibration de confiance
Un % d'automatisation mesure la mauvaise question
Taux de sur-confiance : proportion d'incidents réels qui passent sans escalade, alors qu'ils auraient dû être remontés. Taux de sous-confiance : proportion d'interventions humaines correctives sur des résultats que l'agent avait déjà correctement produits.
| Quadrant | Sur-confiance | Sous-confiance | Plan d'action |
|---|---|---|---|
| Calibré | Basse | Basse | Maintenir |
| Sur-confiant | Haute | Basse | Resserrer les seuils de vérification |
| Sous-exploité | Basse | Haute | Élargir l'autonomie méritée |
| Chaotique | Haute | Haute | Retour au filtre de délégabilité |
Les 4 métriques natives
Vélocité de Directive
Rythme auquel des résultats vérifiés sont livrés, rapporté au volume traité.
Ratio de levier humain
Ce que rapporte réellement le travail humain (cadrage, vérification, arbitrage) une fois qu'il n'exécute plus.
Justesse de calibration
Les deux taux du modèle de maturité : sur-confiance et sous-confiance.
Taux de résultats vérifiés du premier coup
Part des résultats acceptés sans renvoi en production.
Le comité de gouvernance IA
- Owner de gouvernance nommé pour toute Directive à fort volume — jamais « on formalisera après le pilote » (principe 5).
- Checklist de pré-lancement issue des trois causes d'échec documentées : coûts sous-estimés, valeur floue, contrôles insuffisants.
- Protocole d'escalade et de désescalade : élargir l'autonomie méritée quand la calibration le justifie, la resserrer sur seuil de risque.
- Revue de calibration en fin de Directive : les deux taux, le quadrant atteint, le plan d'action.
- Correspondances documentées avec ISO/IEC 42001 (système de management de l'IA) et le NIST AI RMF (Govern, Map, Measure, Manage) — une table de lecture, publiée et datée, qui n'est ni un audit, ni une certification, ni une déclaration de conformité.
Le fournisseur du modèle
Le maillon que toute Directive traverse, et que le registre de risques ne suffit pas à couvrir
Toute Directive repose sur un modèle que vous n'avez ni entraîné, ni hébergé, ni versionné. C'est le seul composant du dispositif que vous ne contrôlez pas et que vous ne pouvez pas auditer — et jusqu'ici AIPM n'en disait rien. ISO/IEC 42001 le traite dans son groupe de mesures consacré aux tiers et aux clients ; le règlement européen y consacre ses articles 25 et 26. Voici les six questions à trancher avant la première Directive, et non après le premier incident.
| Question | Pourquoi elle se pose | Ce qui doit être écrit quelque part |
|---|---|---|
| Qui répond du résultat ? | La tentation est d'écrire dans le contrat que le fournisseur répond de la qualité des sorties. L'article 26 du règlement européen rend cette clause sans effet pour les obligations propres du déployeur. | Le nom du Directeur-Vérificateur, côté client. Pas une raison sociale. |
| Que se passe-t-il si le modèle change sans préavis ? | Une mise à jour silencieuse d'un modèle déplace la frontière entre ce qu'il réussit et ce qu'il rate. Vos seuils calibrés sur l'ancienne version ne valent plus. | Un engagement de notification des changements de version, et à défaut, une revue de calibration déclenchée par le seuil de nouveauté. |
| Peut-on revenir en arrière ? | Le corpus normatif russe impose, pour les systèmes d'IA, la détection de dérive et le retour arrière automatique. Aucun référentiel occidental ne l'exige — c'est pourtant la question qui se pose à trois heures du matin. | La version de repli disponible, et le temps nécessaire pour y basculer. |
| Où vont les données envoyées au modèle ? | Territorialité, réutilisation pour l'entraînement, durée de conservation. C'est un transfert de données au sens du RGPD, même quand il ne s'agit que de contenu métier. | Le pays de traitement, l'engagement de non-réutilisation, et la mention correspondante dans votre propre politique de confidentialité. |
| Quelle réversibilité ? | Une Directive dont les invites, les garde-fous et les jeux d'évaluation sont enfermés dans l'outil d'un fournisseur n'est pas réversible, quoi qu'en dise le contrat. | L'export des invites, des jeux de test et des journaux, dans un format lisible sans l'outil. |
| Le fournisseur est-il lui-même en chaîne ? | Beaucoup de fournisseurs revendent un modèle qu'ils n'opèrent pas. Le NIST en fait l'une de ses douze catégories de risque pour l'IA générative, sous l'intitulé chaîne de valeur et intégration de composants. | L'opérateur réel du modèle, nommé. S'il ne peut pas l'être, c'est une réponse en soi. |
Ce qu'AIPM ne fournit pas : une trame contractuelle. Ces six questions sont des questions de cadrage, pas des clauses. Pour la répartition juridique des responsabilités le long de la chaîne de valeur, la référence est le règlement européen lui-même, articles 25 et 26, et le groupe de mesures « relations avec les tiers et les clients » d'ISO/IEC 42001.
Former vos sponsors et dirigeants
Le Niveau 3 — Gouvernance & Avancé couvre l'intégralité de ce compendium en formation.