Retour d’expérience ·
BPCE construit son benchmark IA : « Un coût choisi contre des coûts subis »
- Média
- Silicon.fr (France)
- Auteur
- Clément Bohic
- Publié le
- 17 septembre 2026 · lue dans les données structurées de la page · modifié le 21 septembre 2026
Résumé
BPCE a présenté au salon Big Data & AI Paris 2026 son benchmark interne d'évaluation des IA, développé par l'équipe de Mikaël Le Bars. La démarche répond aux limites des benchmarks publics (erreurs de données, saturation, surapprentissage, anglocentrisme, gouvernance opaque). L'équipe a identifié les compétences et tâches à évaluer selon les projets du groupe, construit des datasets internes et ajouté des métriques propres au métier bancaire. Un cas d'usage sur l'extraction d'informations financières montre que la configuration du pipeline (OCR, embedding, chunking) pèse davantage que le choix du modèle. Selon Mikaël Le Bars, la démarche a un coût humain important mais représente « un coût choisi contre des coûts subis », avec 70 % de code réutilisable. BPCE envisage d'étendre le benchmark aux systèmes agentiques et un passage en open source à terme.
Résumé établi à partir du texte intégral de l’article.
Lire l’article sur Silicon.fr →Chiffres cités
-
42 %
erreurs dans les problèmes de la v1 de FrontierMath
benchmark FrontierMath, reconnu par Epoch AI en juin
« Lorsqu’il en a publié la v2 en juin, Epoch AI a reconnu que 42 % des problèmes de la v1 contenaient des erreurs. »
Source : Epoch AI
-
50 %
part des benchmarks publics les plus populaires arrivant à saturation
60 benchmarks les plus populaires, selon l'AI Index de Stanford
« Dans son dernier AI Index, Stanford estime que le phénomène touche près de la moitié des 60 benchmarks les plus populaires. »
Source : Stanford AI Index
-
25 %
questions de MMLU exigeant une pensée occidentale
benchmark MMLU
« Plus d'un quart des questions exigent une « pensée occidentale » et 85 % des références géographiques se focalisent sur l'Amérique du Nord ou l'Europe. »
-
85 %
références géographiques de MMLU centrées sur l'Amérique du Nord ou l'Europe
benchmark MMLU
« Plus d'un quart des questions exigent une « pensée occidentale » et 85 % des références géographiques se focalisent sur l'Amérique du Nord ou l'Europe. »
-
— points de pourcentage
impact du modèle sur la justesse des réponses dans l'extraction de documents financiers
cas d'usage BPCE sur l'extraction d'informations à partir de documents financiers
« Celui-ci n'a qu'un impact de 1 à 4 points de pourcentage. »
-
— points de pourcentage
impact de l'embedding sur la justesse des réponses
cas d'usage BPCE sur l'extraction d'informations à partir de documents financiers
« Contre 12 à 17 points pour l'embedding, 10 à 20 pour la phase de chunking / récupération et 14 à 21 pour l'OCR. »
-
70 %
part du code du benchmark réutilisable
benchmark interne BPCE
« Et 70 % du code est réutilisable. »
Classement
- Pays
- France
- Taille d’entreprise
- Grandes entreprises
- Secteurs
- Banque, assurance, gestion d’actifs, directions financières
- Entreprises
- BPCE (déploie l’IA), Stanford (citée), Epoch AI (citée), OpenAI (citée), Apple (citée)
- Mots-clés
- benchmark ia, évaluation des modèles, banque, transcription audio, extraction de documents, systèmes agentiques
Fiche rédigée par Marsanne Studio à partir de l’article cité, avec l’aide d’un modèle d’IA (claude-sonnet-5). Les droits sur l’article et ses illustrations appartiennent à Silicon.fr et à son auteur.