Ce que mesurent réellement les bancs d’essai financiers
Quatre jeux publiés, trois aptitudes différentes, et un fait gênant sur la contamination.
Les quatre jeux que l’on cite ensemble ne mesurent pas la même chose, et les tenir pour interchangeables est la façon dont un classement perd tout sens.
| Jeu | Ce qu’il isole |
|---|---|
| FinQA | L’arithmétique à plusieurs pas, le programme de raisonnement étant noté lui-même 1 |
| TAT-QA | La lecture conjointe d’une table et de la prose qui l’entoure 2 |
| BizBench | Savoir quel concept financier s’applique, séparé de la lecture et du calcul 3 |
| FinanceBench | Répondre depuis un dépôt entier, et refuser quand il ne répond pas 4 |
#La justesse du programme est la mesure qui vieillit bien
FinQA note séparément la réponse et le raisonnement. Un système qui atteint le bon total par le mauvais programme a raison ce trimestre-ci et tort au suivant, et seule la seconde mesure le voit venir.
#La contamination est l’hypothèse par défaut
Trois des quatre sont publics depuis 2021 sous licence permissive, sur des plateformes faites pour être moissonnées. Supposer qu’un modèle récent ne les a jamais vus n’est pas prudent, c’est irréaliste. Un score publié sans la date de coupure d’entraînement du modèle à côté de la date de publication du jeu ne s’interprète pas.
Encore manquantDeskworth n’a exécuté aucun de ces bancs. Aucun score Deskworth ne figure nulle part sur ce site, et les conditions sous lesquelles un score pourrait paraître sont publiées à l’avance.
#Sources
- FinQA: A Dataset of Numerical Reasoning over Financial DataZhiyu Chen, Wenhu Chen, Charese Smiley, Sameena Shah, Iana Borova, Dylan Langdon, Reema Moussa, Matt Beane, Ting-Hao Huang, Bryan Routledge, William Yang Wanghttps://aclanthology.org/2021.emnlp-main.300/
- TAT-QA: A Question Answering Benchmark on a Hybrid of Tabular and Textual Content in FinanceFengbin Zhu, Wenqiang Lei, Youcheng Huang, Chao Wang, Shuo Zhang, Jiancheng Lv, Fuli Feng, Tat-Seng Chuahttps://aclanthology.org/2021.acl-long.254/
- BizBench: A Quantitative Reasoning Benchmark for Business and FinanceRik Koncel-Kedziorski, Michael Krumdick, Viet Lai, Varshini Reddy, Charles Lovering, Chris Tannerhttps://arxiv.org/abs/2311.06602
- FinanceBench: A New Benchmark for Financial Question AnsweringPranab Islam, Anand Kannappan, Douwe Kiela, Rebecca Qian, Nino Scherrer, Bertie Vidgenhttps://arxiv.org/abs/2311.11944
Read next
- Évaluations et bancs d’essaiQuatre bancs d’essai publiés pour le raisonnement financier, documentés depuis leurs sources primaires, et la déclaration franche que Deskworth n’en a exécuté aucun.
- Ce que Deskworth appelle un banc d’essai valableOnze conditions, écrites avant le moindre score, pour qu’aucun score ne puisse être publié sans elles.