Utiliser un benchmark dans une offre sans sélection biaisée

Question de preuve

Un débit de référence ne répond pas seul à la question de l’acheteur

Copiez d’abord la phrase envisagée et écrivez la conclusion qu’un évaluateur raisonnable en tirerait. « Les prestataires performants numérisent 1 200 pages par opérateur et par jour » peut situer un ordre de grandeur, expliquer un prix, justifier un calendrier ou insinuer que l’équipe atteindra ce débit. Le même chiffre change donc de charge probatoire selon sa place. Une référence acceptable dans une discussion méthodologique peut être impropre à soutenir le plan de production.

Maintenez quatre objets distincts: la mesure externe, les propres essais du soumissionnaire, le besoin publié et l’engagement futur. Le benchmark ne mesure pas l’équipe candidate. Le volume de l’acheteur ne valide pas la définition de la source. Une valeur observée chez d’autres prestataires n’autorise ni une cadence ni une date contractuelle. La fiche doit empêcher ces glissements jusque dans les titres et tableaux de charge.

Le cas fictif concerne Scriptorive Numérisation SAS, candidate à la reprise de 3,8 millions de pages d’archives communales. Le fonds comprend registres reliés, calques pliés, formulaires modernes et actes manuscrits. La réponse technique annonce 1 200 pages par opérateur et par jour et présente ce débit comme « le benchmark du secteur » pour défendre un calendrier de onze mois. Le chiffre provient d’une enquête internationale financée par un fabricant de scanners. Puisqu’il soutient directement la capacité offerte, une ressemblance de vocabulaire ne suffit pas.

Sources candidates

Chercher une méthode, pas le nombre nécessaire au planning

Le protocole est écrit avant ouverture des valeurs. Il décrit la notion recherchée, par exemple le débit de préparation, de capture et de contrôle par opérateur pour des fonds patrimoniaux et administratifs. Il fixe les années, territoires, familles de documents, degrés d’automatisation, types de publications, langues, répertoires consultés et date d’arrêt. Il exige au minimum une définition de page, un dénominateur temporel, une population et une méthode accessibles. Aucun seuil de 1 200 n’y figure.

Le registre de recherche conserve titre, auteur institutionnel, commanditaire, édition, période observée, lien d’origine, table, population apparente, méthode disponible et sort de chaque candidat. Un rapport peut être écarté parce qu’il traite uniquement la lecture automatique de factures, parce que sa définition du débit manque ou parce qu’il reprend exactement le jeu de données d’une source déjà enregistrée. Une médiane plus faible ne justifie jamais l’exclusion.

La recherche s’arrête selon la règle prévue, pas après le premier résultat satisfaisant. Pour un chiffre central au planning, Scriptorive mobilise un analyste et un responsable de production, puis fait relire la sélection par une personne qui n’a pas construit le calendrier. Le registre montre ce qui a été cherché et ce qui manque. Il ne prétend pas couvrir des bases ou rapports auxquels l’équipe n’avait pas accès.

Trois candidats restent admissibles. L’enquête du fabricant affiche 1 200 pages pour les grands centres automatisés. Une étude professionnelle annonce une médiane de 640 pages sur des fonds mixtes. Un guide public décrit les opérations et facteurs de qualité sans publier de débit comparable. Ce dernier ne fournit pas de chiffre, mais il aide à vérifier si les deux autres mesurent le même travail que le marché.

Objet d’origine

La source du graphique doit conduire à la table, puis au protocole

Une reprise sur un site de conseil n’est pas la publication à citer. Retrouvez le rapport qui a calculé le résultat, son numéro d’édition, ses dates de terrain, sa table et son annexe. Conservez la version examinée. Vérifiez les errata, mises à jour et changements de questionnaire. Le titre d’une page actuelle peut masquer un fichier ancien ou une série dont la méthode a changé.

Identifiez les responsabilités. Le fabricant finance l’enquête, un cabinet recrute les répondants, les centres exportent leurs propres journaux et un comité choisit les classes de performance. Chacune de ces étapes peut agir sur la population ou l’indicateur. Le financement n’annule pas la donnée, mais il interdit de décrire l’étude comme indépendante si elle ne l’est pas. Le but déclaré compte aussi: un outil de comparaison réservé aux clients n’est pas nécessairement une estimation du marché.

Lisez les avertissements du producteur au lieu de fabriquer les vôtres. Une méthode peut signaler l’auto-sélection, l’absence de pondération, une nouvelle définition ou l’impossibilité de comparer deux années. Le Code britannique de bonnes pratiques statistiques demande que choix de sources, méthode, représentativité, comparabilité, biais et limites soient expliqués. La fiche d’offre reprend ces questions comme contrôle de lecture, sans prétendre que l’enquête privée est une statistique officielle.

Participation

Le secteur annoncé se rétrécit à chaque porte d’entrée dans l’enquête

Distinguez la population que le titre semble viser, le portefeuille de clients accessible au recruteur, les centres invités, les répondants et la sous-cohorte du chiffre. La publication peut parler de numérisation documentaire mondiale alors que seuls les centres équipés d’une gamme récente pouvaient exporter le journal demandé. Après refus, champs manquants et filtres, 27 centres peuvent porter le résultat affiché.

Relevez mode de recrutement, critères d’entrée, nombre d’invitations, participation, données manquantes, suppressions, imputation, pondération et concentration des volumes. Une moyenne pondérée par page décrit davantage les très grands centres. Une médiane par site donne le même poids à chaque répondant. Sans liste ou nombre d’invités, un taux de réponse ne peut pas être inventé. Sans analyse de non-réponse, les absents peuvent différer des participants.

Un sous-groupe est utilisable lorsque son critère a été prévu avant lecture, qu’il est défini dans la publication, qu’il conserve assez d’observations et qu’il correspond à une cause plausible de différence. Choisir après coup les centres dépassant 80 pour cent d’automatisation produit un groupe performant par construction. Le qualifier de comparable parce que Scriptorive possède aussi des scanners rapides ignore la préparation et le contrôle du fonds.

Le groupe des 1 200 pages comprend 27 centres, dont 23 traitent surtout des feuilles A4 libres. Les documents ont été apportés déjà désagrafés et ordonnés. Les centres choisissent leur mois d’export, et le rapport ne publie pas le nombre de clients sollicités. Les données décrivent donc ces participants et ce flux. Elles ne permettent pas d’attribuer le même débit aux archives reliées d’une collectivité.

• Population annoncée: l’ensemble auquel le titre ou le rapport veut se référer.
• Cadre accessible: les organismes qui pouvaient techniquement être recrutés.
• Invités: les unités effectivement sollicitées pendant la collecte.
• Répondants: les unités ayant fourni des données utilisables.
• Sous-cohorte publiée: les unités retenues pour la valeur citée.

Indicateur

Une page et une journée changent de sens selon les opérations comptées

Reconstruisez l’unité. Une page peut être une face physique, une image capturée, une image acceptée après contrôle ou un enregistrement OCR validé. Un registre ouvert sur deux feuillets peut produire deux, quatre ou davantage d’images. Les reprises peuvent compter une seconde fois dans le volume ou seulement dans le temps. Sans définition commune, pages par jour ne fournit aucune comparaison.

Reconstituez aussi le travail contenu dans le numérateur et le temps du dénominateur. La source inclut-elle inventaire, dépoussiérage, déliaison, préparation, pose sur berceau, capture, indexation, OCR, vérification, reprise, remontage et conditionnement? L’opérateur-jour peut désigner huit heures payées, le temps connecté à la machine ou les heures directement affectées à la capture. Pauses, réglages, pannes, formation et transfert de lots peuvent disparaître.

Demandez comment le résultat est résumé. Moyenne, médiane, percentile et moyenne pondérée par volume répondent à des questions différentes. Le seuil du meilleur quart peut n’être que la valeur séparant sept centres d’un groupe de 27. Les normes du Census Bureau demandent que plan d’échantillonnage et incertitude soient pris en compte; l’équipe applique ce principe sans produire une précision que l’étude ne permet pas.

Dans l’enquête du fabricant, une page est une image capturée, avant contrôle final. Le temps commence au chargement de la pile préparée et s’arrête après la capture. Préparation, indexation, OCR, contrôle, reprise et reconditionnement restent hors du dénominateur. Le marché compte une page livrée seulement après vérification et rattachement des métadonnées. Les deux débits n’ont donc ni le même résultat ni le même temps.

Contexte acheteur

La comparabilité dépend des causes du débit, pas du mot numérisation

Décrivez les deux contextes sur des axes séparés: support, format, fragilité, état, ordre, contenu, taux d’écriture manuscrite, indexation, qualité d’image, OCR, métadonnées, contrôles, transport, sécurité, équipement, expérience des opérateurs, taille des lots et période. Pour chaque différence, indiquez comment elle pourrait agir sur le débit, sur quelle information repose ce jugement et si elle est décisive pour la phrase. L’absence de données reste un constat.

Plusieurs ressemblances ne résolvent pas une incompatibilité. Deux opérations peuvent utiliser le même scanner et la même résolution tout en ayant des temps de préparation radicalement différents. Un benchmark proche par volume peut être éloigné par état physique. Un autre peut correspondre au support mais s’arrêter avant contrôle. Ces proximités partielles ne se transmettent pas les unes aux autres.

Ne corrigez pas le chiffre par intuition. Si la publication contient des strates par support et des temps séparés par opération, un recalcul documenté peut être possible. Sinon, diviser le débit par deux pour les registres anciens ne produit pas une référence prudente; cela produit une valeur inventée. Le cadre GAO retient exactitude, exhaustivité et applicabilité au but. Une étude valable dans son propre cadre peut cesser de soutenir l’offre lorsqu’elle échoue sur l’applicabilité.

Le fonds communal contient 31 pour cent de registres reliés, 8 pour cent de calques ou grands formats et une indexation nominative sur certains lots. Le contrôle doit suivre un plan accepté et les reprises ne sont pas comptées comme nouvelles pages. Le groupe de 27 centres ne publie aucun découpage capable de représenter ces tâches. Scriptorive ne peut donc convertir les 1 200 images capturées en pages livrées par opérateur-jour.

Stabilité du résultat

Une autre sélection permise doit avoir le droit de déranger la conclusion

Reprenez chaque choix laissé ouvert par le protocole. Utilisez l’ensemble des répondants au lieu du groupe automatisé, l’édition précédente si la définition est stable, la médiane si la moyenne est tirée par le volume, et la seconde publication admissible. Ne fusionnez pas des mesures incompatibles pour créer un chiffre de compromis. Chaque variante doit garder sa méthode et sa signification.

La fiche indique le choix testé, la raison qui le rend raisonnable, son résultat et son effet sur la phrase. Cette opération mesure la dépendance du récit aux décisions de l’analyste. Le manuel OECD-JRC montre que sélection d’indicateurs, données manquantes, normalisation, pondération et agrégation peuvent modifier le message d’un indice. Ici, cohorte, définition de page et étape de fin jouent le même rôle, même si l’indicateur est plus simple.

Si les variantes convergent vers une conclusion étroite, la comparaison gagne en stabilité. Si elles donnent une fourchette, celle-ci doit rester attachée aux méthodes qui la composent. Si l’une classe le débit au-dessus et une autre au-dessous, le rang ne peut pas être choisi selon le récit. La fiche peut alors classer la référence contexte_indicatif ou benchmark_non_utilise.

Le total de l’enquête donne 910 images capturées, contre 1 200 dans la sous-cohorte. L’autre étude publie une médiane de 640 pages contrôlées sur fonds mixtes. L’ancienne édition du fabricant ne permet pas la comparaison temporelle, car elle incluait le contrôle de premier niveau. La conclusion change donc avec le groupe et surtout avec le point de fin. Aucun des nombres ne justifie seul les 1 200 pages livrées du planning.

Publication

Scriptorive retire le débit du planning et conserve une référence utile à sa juste place

La décision décrit l’usage autorisé. comparaison_directe exige une correspondance sur chaque dimension qui pourrait changer l’inférence. comparaison_avec_limites permet un contraste précis et nommé. contexte_indicatif signifie que la source éclaire une méthode ou un ordre de questionnement sans classer le candidat ni soutenir sa cadence. S’ajoutent recalcul_requis, methode_absente, cohorte_inadaptee, selection_non_resolue et benchmark_non_utilise.

La phrase publiée identifie producteur, édition, période, participants, mesure et statistique. Une limite décisive se trouve dans la même phrase ou juste après. « Norme du secteur » est interdit si l’étude n’est pas conçue pour cette population. « Meilleur quart » reste incomplet sans unité classée et calcul. Le lien vise la table d’origine et la méthode, pas une page qui reprend seulement le résultat.

Scriptorive retient contexte_indicatif. La réponse précise: « Une enquête 2025 auprès de 27 grands centres clients d’un fabricant a observé une moyenne pondérée de 1 200 images capturées par opérateur-jour pour des feuilles libres déjà préparées. La préparation, l’indexation et le contrôle final du présent marché n’entraient pas dans ce débit; nous ne l’utilisons donc ni comme norme sectorielle ni comme base de notre calendrier. » La source sert ensuite à expliquer pourquoi les étapes sont mesurées séparément.

Le calendrier est recalculé à partir de l’inventaire acheteur, d’essais contrôlés sur chaque famille, des taux de reprise, du plan de contrôle, des compétences, des équipements et des marges autorisées. Cette décision suit son propre circuit. La fiche benchmark rouvre si la source corrige son édition, si une nouvelle publication admissible apparaît, si le corpus change ou si une autre section reprend la valeur sans sa limite.