Experiencia de uso ·
BPCE construye su benchmark de IA: «Un coste elegido frente a costes sufridos»
Título original, en francés: «BPCE construit son benchmark IA : « Un coût choisi contre des coûts subis »»
- Medio
- Silicon.fr (Francia)
- Autor
- Clément Bohic
- Publicado el
- 17 de septiembre de 2026 · leída en datos estructurados de la página · modificado el 21 de septiembre de 2026
Resumen
BPCE presentó en el salón Big Data & AI Paris 2026 su benchmark interno de evaluación de IA, desarrollado por el equipo de Mikaël Le Bars. El planteamiento responde a las limitaciones de los benchmarks públicos (errores en los datos, saturación, sobreajuste, anglocentrismo, gobernanza opaca). El equipo identificó las competencias y tareas que evaluar según los proyectos del grupo, elaboró datasets internos y añadió métricas propias del negocio bancario. Un caso de uso sobre extracción de información financiera muestra que la configuración del pipeline (OCR, embedding, chunking) pesa más que la elección del modelo. Según Mikaël Le Bars, el proceso tiene un coste humano importante, pero representa «un coste elegido frente a costes sufridos», con un 70 % de código reutilizable. BPCE contempla ampliar el benchmark a los sistemas agénticos y, a largo plazo, publicarlo en código abierto.
Resumen elaborado a partir del texto completo del artículo.
Leer el artículo en Silicon.fr →Cifras citadas
-
42 %
errores en los problemas de la v1 de FrontierMath
benchmark FrontierMath, reconocido por Epoch AI en junio
« Lorsqu’il en a publié la v2 en juin, Epoch AI a reconnu que 42 % des problèmes de la v1 contenaient des erreurs. »
Fuente: Epoch AI
-
50 %
proporción de los benchmarks públicos más populares que están llegando a la saturación
60 benchmarks más populares, según el AI Index de Stanford
« Dans son dernier AI Index, Stanford estime que le phénomène touche près de la moitié des 60 benchmarks les plus populaires. »
Fuente: Stanford AI Index
-
25 %
preguntas de MMLU que exigen un pensamiento occidental
benchmark MMLU
« Plus d'un quart des questions exigent une « pensée occidentale » et 85 % des références géographiques se focalisent sur l'Amérique du Nord ou l'Europe. »
-
85 %
referencias geográficas de MMLU centradas en Norteamérica o Europa
benchmark MMLU
« Plus d'un quart des questions exigent une « pensée occidentale » et 85 % des références géographiques se focalisent sur l'Amérique du Nord ou l'Europe. »
-
— puntos porcentuales
impacto del modelo en la exactitud de las respuestas en la extracción de documentos financieros
caso de uso de BPCE sobre extracción de información a partir de documentos financieros
« Celui-ci n'a qu'un impact de 1 à 4 points de pourcentage. »
-
— puntos porcentuales
impacto del embedding en la exactitud de las respuestas
caso de uso de BPCE sobre extracción de información a partir de documentos financieros
« Contre 12 à 17 points pour l'embedding, 10 à 20 pour la phase de chunking / récupération et 14 à 21 pour l'OCR. »
-
70 %
proporción del código del benchmark que es reutilizable
benchmark interno de BPCE
« Et 70 % du code est réutilisable. »
Clasificación
- País
- Francia
- Tamaño de empresa
- Grandes empresas
- Sectores
- Banca, seguros, gestión de activos, direcciones financieras
- Empresas
- BPCE (implanta la IA), Stanford (citada), Epoch AI (citada), OpenAI (citada), Apple (citada)
- Palabras clave
- benchmark de ia, evaluación de modelos, banca, transcripción de audio, extracción de documentos, sistemas agénticos
Ficha redactada por Marsanne Studio a partir del artículo citado, con la ayuda de un modelo de IA (claude-sonnet-5). Los derechos sobre el artículo y sus ilustraciones pertenecen a Silicon.fr y a su autor. Ficha traducida del francés por Claude Sonnet 5.5.