Un agent d’IA planifie et exécute des tâches en plusieurs étapes : il lit des données, appelle des outils et produit des résultats avec peu d’instructions. En finance, la question n’est pas de savoir si les agents en sont capables, mais quelles étapes ils peuvent franchir seuls et lesquelles doivent attendre une personne.
Trois règles de conception
- Écrire les permissions. Un agent doit disposer d’une liste explicite des actions autorisées et, tout aussi important, des actions interdites.
- Fixer un seuil de confiance. En dessous d’un niveau convenu, le bon résultat est une escalade, pas une réponse plus faible.
- Faire de la validation un verrou, pas une suggestion. L’agent doit être techniquement incapable de publier ou d’agir tant qu’une personne nommément désignée n’a pas approuvé.
Ce qu’en disent les cadres de référence
Le cadre de gestion des risques de l’IA du NIST organise le travail en quatre fonctions : Govern, Map, Measure et Manage. Les permissions encadrées relèvent de Govern ; les scores de confiance et les contrôles de qualité des données, de Measure ; l’escalade et le retour arrière, de Manage.
Le règlement européen sur l’intelligence artificielle classe certains usages financiers parmi les usages à haut risque, notamment l’IA servant à évaluer la solvabilité des personnes physiques, et impose un contrôle humain pour les systèmes à haut risque. Bien avant l’IA générative, la lettre SR 11-7 de la Réserve fédérale attendait déjà des modèles qu’ils soient soumis à une remise en question effective et à une surveillance continue.
Un document de décembre 2024 de l’Institut de stabilité financière de la BRI passe en revue l’approche des autorités financières face à l’IA et aborde notamment l’explicabilité, la gouvernance et la dépendance envers les prestataires tiers.
Ce que montre ce concept
La page IA appliquée fait passer trois cas illustratifs dans un tel pipeline. L’un passe sans encombre, un autre passe avec un avertissement sur la qualité des données, et le troisième est arrêté parce que ses sources se contredisent. L’essentiel n’est pas le verdict, mais le fait que chaque arrêt soit prévu à l’avance.