Introduction

L'assurance qualité n'est pas une phase distincte, mais un engagement continu consistant à surveiller, évaluer et garantir la qualité des données tout au long du cycle de vie du recensement. Dans un recensement numérique, la technologie offre des outils permettant un suivi en temps réel, une évaluation rigoureuse et une gestion proactive des risques. Les processus de recensement doivent faire preuve de rigueur méthodologique et respecter des normes professionnelles et internationales reconnues. Ils doivent également satisfaire aux exigences d'efficacité, de pertinence, d'exhaustivité, d'exactitude, d'actualité, d'accessibilité, de cohérence et de comparabilité spatiale des données, y compris par la validation des données au regard d'autres sources et par une analyse démographique de base fondée sur la connaissance de la zone.

Le manuel des Nations unies sur la gestion des recensements met l'accent sur l'intégration de la planification des risques à chaque phase du cycle du recensement.

Un recensement numérique bien exécuté associe la technologie à des méthodes éprouvées d'assurance qualité afin de garantir une collecte de données précise, fiable et sécurisée. Le présent chapitre propose une approche globale de l'assurance qualité, du suivi, de l'évaluation et de la gestion des risques, en mettant l'accent sur l'intégration des méthodologies numériques.

Comparaison de l'assurance qualité, du suivi, de l'évaluation et de la gestion des risques à l'ère non numérique et à l'ère numérique.

Dans un recensement numérique, la technologie offre des outils puissants afin d'améliorer l'assurance qualité et la validation tout au long du processus. Les appareils électroniques et autres technologies peuvent exercer un effet positif en rendant le dénombrement plus rapide, en facilitant le contrôle qualité et en permettant l'usage de plusieurs approches de collecte afin de réduire les coûts.

Les systèmes numériques peuvent être programmés afin de détecter automatiquement différents types d'erreurs ou d'incohérences dans les réponses. Il peut s'agir, par exemple, de divergences entre l'âge et la situation matrimoniale, de valeurs aberrantes (telles que des revenus extrêmement élevés ou extrêmement faibles) ou d'entrées en double (plusieurs enregistrements relatifs à une même personne). Des règles de validation des données peuvent être intégrées dans l'application d'entretien individuel assisté par ordinateur (CAPI) afin de prévenir les erreurs au moment de la collecte. Un logiciel de traitement des données peut également signaler des erreurs lors des étapes de nettoyage.

Des algorithmes d'apprentissage automatique peuvent contribuer à améliorer la qualité des données. Par exemple, des modèles de détection des anomalies peuvent identifier des schémas complexes et des anomalies qui ne seraient pas apparents avec des méthodes traditionnelles. Ces algorithmes peuvent aider à anticiper des erreurs potentielles et à mieux cibler les efforts d'assurance qualité. Des modèles de classification peuvent également être utilisés afin d'estimer la probabilité d'erreurs en fonction des caractéristiques des répondants. Ils peuvent, en outre, contribuer à améliorer la précision de l'imputation des données manquantes, en estimant des valeurs plausibles.

Dans un recensement numérique, des tableaux de bord peuvent être mobilisés afin d'assurer un contrôle en temps réel de la qualité des données. Ils permettent notamment aux responsables du recensement :

• De suivre les taux d'erreur et d'identifier les domaines dans lesquels la qualité des données peut être compromise.

• De contrôler les performances des recenseurs et de repérer les besoins potentiels de formation.

• D'évaluer l'impact des interventions et des mesures d'amélioration de la qualité.

En outre, les systèmes numériques génèrent automatiquement des para-données, qui n'étaient pas disponibles à l'ère non numérique. Les para-données sont des données relatives au processus de recensement lui-même. Elles incluent, notamment, les horodatages des événements de collecte, les heures de début et de fin des entretiens, ainsi que des informations sur le comportement des recenseurs, comme le temps passé sur des questions spécifiques et les schémas de sauts. Elles couvrent aussi des schémas d'utilisation des appareils, tels que l'autonomie de la batterie et la connectivité. L'analyse des para-données peut fournir des informations précieuses sur des problèmes de qualité potentiels et orienter les améliorations à apporter au processus. Elle peut, par exemple, aider à identifier les recenseurs nécessitant une formation complémentaire, à détecter des fraudes ou falsifications potentielles, ou à optimiser le processus de collecte afin d'améliorer l'efficacité et la précision.

Les risques et leur impact dans un recensement numérique diffèrent de ceux d'un recensement non numérique et peuvent s'avérer plus coûteux s'ils ne sont pas atténués.

Considérations relatives à l'assurance qualité, au suivi, à l'évaluation et à la gestion des risques dans un recensement numérique.

Afin d'assurer une assurance qualité, un suivi, une évaluation et une gestion des risques complets, les éléments clés suivants doivent être pris en compte :

• Le système d'assurance qualité et d'amélioration doit être élaboré dès la planification, dans le cadre du programme global de recensement, et intégré à l'ensemble des autres plans, calendriers et procédures.

• Des mécanismes internes de suivi de la qualité, efficaces et bien documentés, doivent être en place.

• Concernant le suivi et l'évaluation, des tableaux de bord en temps réel doivent être adoptés. Les tableaux de bord électroniques doivent être utilisés afin de suivre la progression de la collecte des données et de repérer les anomalies. Concernant l'évaluation, des enquêtes de suivi (enquêtes post-recensement) doivent être menées afin d'apprécier l'exactitude et la couverture des données.

• Les principaux indicateurs de qualité doivent être définis et convenus dès le début. Les indicateurs pouvant être affichés dans le tableau de bord incluent notamment : taux d'erreur (pourcentage de questionnaires comportant des incohérences), taux d'incohérence (pourcentage de réponses contradictoires concernant des variables clés), distribution des réponses relatives à des questions spécifiques, nombre de modifications/signalements par recenseur et par zone, taux d'achèvement (pourcentage de ménages recensés) et durée moyenne des entretiens.

• Les logiciels et technologies à utiliser doivent être déterminés et testés dès le départ. Voici quelques exemples :

  • Des logiciels statistiques (par exemple : Stata, R, SPSS) peuvent être utilisés afin de calculer et de visualiser les indicateurs de qualité.

  • Des systèmes de gestion de bases de données (par exemple : PostgreSQL) peuvent être utilisés afin de stocker et d'interroger les données.

• Malgré les progrès numériques, la supervision physique sur le terrain demeure cruciale afin de faire face aux imprévus et doit être intégrée au plan d'assurance qualité et d'amélioration.

• Les plateformes numériques comportent des risques inhérents ; il est donc nécessaire d'élaborer, avant le recensement, un plan complet de gestion des risques, fondé sur des évaluations permettant d'identifier les risques potentiels relatifs à chaque composante.

• Lors de l'évaluation des risques, il convient d'apprécier la probabilité et l'impact de chaque risque potentiel identifié, à l'aide d'outils tels que des matrices de risques et la planification de scénarios, afin de les hiérarchiser.

• Un dispositif de suivi et d'examen des risques doit être mis en place, au moyen d'une structure de gouvernance chargée de réviser et d'actualiser régulièrement les stratégies de gestion des risques. Il convient également de constituer un registre des risques afin de suivre les risques identifiés et les mesures d'atténuation.

Des orientations détaillées sur la préparation aux situations d'urgence, la gestion des risques et la planification d'urgence figurent dans le document P&R des Nations unies, rév. 4, paragraphes 2.125 à 2.157.