Finance intelligence research

Une réponse financière n’est pas une phrase. C’est un nombre, la fenêtre qu’il couvre, le document d’où il vient, et la date à laquelle ce document a été lu. Retirez-en une des quatre, la phrase survit, et c’est exactement le problème. Cette page rassemble ce que la littérature publiée dit de cet écart, et ce qui est bâti contre lui.

#Pourquoi les dépôts réglementaires résistent à un modèle de langage

Trois propriétés des documents financiers les rendent plus difficiles qu’ils n’en ont l’air, et chacune est mesurée dans la littérature plutôt qu’affirmée ici.

• La réponse est rarement à un seul endroit. TAT-QA a été bâti précisément autour du contexte hybride, une table et la prose qui l’entoure, parce que dans les rapports réels le chiffre est dans la table et la nuance dans le paragraphe 3.
• Extraire le nombre n’est pas la tâche ; faire l’arithmétique dessus l’est. FinQA annote un programme de raisonnement pour chaque question, pour qu’on puisse vérifier la chaîne et pas seulement le résultat 2.
• La connaissance du domaine commande le calcul. BizBench sépare la compréhension de lecture du fait de savoir quelle formule s’applique, et rapporte que le goulot se trouve dans la compréhension du métier plutôt que dans le calcul brut 4.

L’ampleur de l’écart mérite qu’on s’y arrête. FinanceBench a évalué seize configurations de modèles sur des questions que ses auteurs qualifient de tranchées, et a trouvé qu’un modèle solide couplé à un système de recherche répondait faux ou déclinait sur 81 % des cas échantillonnés 1. Ce résultat date de 2023 et les modèles ont bougé ; le point structurel, non. Un système de recherche qui rend la mauvaise page produit une réponse fluide sur la mauvaise page.

#La vérité figée à la date

Un chiffre n’est vrai qu’à l’intérieur d’une fenêtre. Le chiffre d’affaires de l’exercice 2025 n’est pas celui des douze mois glissants, et un chiffre retraité n’est pas le chiffre qui avait été publié. Un bureau qui répond sans porter la fenêtre ne se trompe pas une fois, il se trompe d’une façon que personne ne peut détecter après coup.

La conséquence pour un produit est inconfortable : quand les données ne répondent pas à la question à la date demandée, la sortie honnête est un refus, pas une approximation. Dans Deskworth ce refus est un état de plein droit, pas un chemin d’erreur.

#Faits, hypothèses et calculs sont trois choses différentes

Un modèle qui produit un nombre mélange les trois par défaut. Un tableur bâti par un analyste les sépare, parce que c’est ce qui le rend auditable un an plus tard. Deskworth prend le parti de l’analyste : le contrat de classeur du cœur garde entrées, modèle, sortie, sources et contrôles sur des feuilles distinctes, et un fait sans source déclarée est refusé avant que le fichier ne s’écrive 5.

PreuveCe contrat est écrit et couvert de bout en bout par des tests, le fichier est composé, écrit, rouvert par un chemin autre que celui qui l’a écrit, et ses formules retrouvées. La version 0.0.23 l’étend à une présentation et une note rendues depuis le même dossier, pour que les trois ne puissent pas diverger. Rien de tout cela n’a encore été exercé par une exécution d’agent réelle, et le cœur le dit avec ces mots-là 6.

#Pourquoi un spécialiste l’emporte ici sur un généraliste

L’argument des rôles nommés n’est pas qu’un modèle spécialisé serait plus malin. C’est qu’un mandat est une limite écrite, et qu’une limite est ce qui rend une mauvaise réponse visible. Un rôle qui peut lire des dépôts réglementaires et ne peut pas atteindre le web ouvert ne peut pas substituer en douce un billet de blog à un 10-K. Un rôle qui possède le format du classeur est le seul à pouvoir en produire un, donc une demande de présentation ne peut pas rendre un tableur en silence.

C’est un argument de capacités, pas une affirmation de banc d’essai. Aucune évaluation face à face d’un assistant généraliste contre un roster de mandats n’a été menée, et tant qu’elle ne l’aura pas été, cette page ne prétendra pas le contraire.

#Ce que cela veut dire pour Deskworth

• Tout chiffre voyage avec sa source et sa date de relevé, ou il ne voyage pas.
• Une question à laquelle les données ne répondent pas à cette date revient bloquée, pas approximée.
• Ce qu’un indicateur n’a pas pu mesurer est laissé vide et compté, jamais interpolé.
• Un rôle déclare ce qu’il peut atteindre ; aucun ne tient à la fois les données de l’utilisateur et un accès web arbitraire.
• Un livrable se valide en le rouvrant avec un autre code que celui qui l’a écrit.

LimiteRien sur cette page n’est une affirmation mesurée sur la justesse de Deskworth lui-même. Aucun des bancs ci-dessous n’a été exécuté sur cette pile. La page d’évaluation énonce le protocole qui sera suivi et dit franchement qu’il n’a pas été exécuté.