Ce que Deskworth appelle un banc d’essai valable

Publier les conditions avant le résultat est la seule façon de les garder honnêtes. Une fois qu’un chiffre existe, chaque condition manquante devient négociable.

#La ligne qu’on saute le plus souvent

À « quel modèle ? » on répond d’ordinaire par un nom de famille. Un nom de famille n’est pas un modèle. Les points d’accès changent sous une étiquette stable, donc l’identifiant exact et la date de l’exécution sont deux exigences distinctes, et les deux sont obligatoires.

#La ligne qui cache le plus de variance

La recherche de passage. Sur un banc financier à livre ouvert, l’essentiel de l’écart entre deux résultats publiés vient de la façon dont le passage a été trouvé, pas du modèle qui l’a lu. Un résultat qui ne décrit pas son composant de recherche est un résultat sur un système non divulgué.

#Les licences font partie du protocole

Deux des quatre jeux du catalogue sont non commerciaux, et l’un interdit les œuvres dérivées. Cela contraint ce qui peut être redistribué et ce qui peut être adapté, et se vérifie avant une exécution plutôt qu’après publication.

Encore manquantDeskworth n’a exécuté aucun banc d’essai. Le catalogue publie le protocole que suivra la prochaine passe du cœur.