Pourquoi une réponse financière a besoin de sa provenance
Un chiffre sans sa fenêtre ni sa source n’est pas une réponse plus faible. C’est une réponse que personne ne peut vérifier après coup.
La défaillance qui compte n’est pas un chiffre faux. C’est un chiffre qui a l’air juste et dont personne n’a consigné la fenêtre.
FinanceBench a mesuré qu’un modèle solide muni d’une recherche répondait faux ou déclinait sur 81 % d’un échantillon de questions que ses auteurs qualifient de tranchées 1. Les deux issues ne sont pas la même défaillance. Décliner coûte une minute. Répondre avec aisance depuis la mauvaise page coûte une décision, et le coût passe inaperçu.
#Les quatre choses qu’un chiffre doit porter
- La valeur.
- La période couverte, l’exercice 2025 n’est pas les douze mois glissants.
- Le document d’où il vient, identifié une fois pour que deux faits issus du même dépôt désignent le même dépôt.
- La date de lecture. C’est la seule date réellement observée ici.
Retirez-en une, la phrase se lit toujours. C’est exactement le problème : rien en aval ne peut détecter la perte.
#Pourquoi la table seule ne suffit pas
TAT-QA existe parce que dans les rapports réels le chiffre est dans la table et la nuance dans le paragraphe d’à côté 2. Un système qui ne lit que la table produit un nombre arithmétiquement correct et matériellement faux. Une provenance qui désigne la table sans la prose autour reproduit la même erreur une couche plus bas.
#Sources
- FinanceBench: A New Benchmark for Financial Question AnsweringPranab Islam, Anand Kannappan, Douwe Kiela, Rebecca Qian, Nino Scherrer, Bertie Vidgenhttps://arxiv.org/abs/2311.11944
- TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and Textual Content in FinanceFengbin Zhu, Wenqiang Lei, Youcheng Huang, Chao Wang, Shuo Zhang, Jiancheng Lv, Fuli Feng, Tat-Seng Chuahttps://aclanthology.org/2021.acl-long.254/
Read next