Principaux domaines de mise en œuvre de la gestion de la qualité et des risques dans un recensement numérique

La gestion des risques et de la qualité constitue un thème continu et transversal, qui doit être intégré à chaque étape du recensement, de manière à ce que les considérations de qualité guident l'ensemble des activités.

Planification et conception

La qualité doit être intégrée dès le début, grâce notamment à :

Une conception minutieuse des questionnaires et des instruments de collecte, conforme aux normes internationales et aux meilleures pratiques.
Au stade des tests préalables, des tests approfondis doivent être conduits sur la conception du questionnaire, le logiciel de collecte (application CAPI) et les systèmes de cartographie, y compris des tests d'utilisabilité et des tests des capacités de détection d'erreurs.
L'établissement de normes et de procédures claires en matière de qualité des données, alignées sur les objectifs généraux du recensement.

Les risques potentiels pendant la phase de planification et de conception peuvent être regroupés comme suit :

Risques opérationnels liés à des retards dans les achats, le recrutement ou la formation. Ces risques peuvent résulter de contraintes telles que des pandémies, des conditions climatiques, etc.
Risques technologiques liés à des défaillances des outils numériques, à la perte de données ou à des cyberattaques.
Risques politiques et juridiques liés à des changements de priorités gouvernementales ou à des contentieux. Risques sociaux liés à la méfiance du public, à la désinformation ou à la résistance à la participation.

Les stratégies d'atténuation incluent notamment :

Renforcer la confiance du public et faire preuve de transparence afin de répondre aux préoccupations relatives à la confidentialité des données et de consolider l'adhésion au processus.
Élaborer des plans de secours relatifs aux systèmes et processus critiques.
Veiller à l'existence de mandats clairs et d'un cadre juridique adéquat, notamment en matière de protection des données.
Tester et piloter de manière appropriée l'ensemble des outils et infrastructures numériques avant le déploiement à grande échelle.
Le suivi de l'ensemble du processus de recensement, afin de garantir la rentabilité et la qualité des opérations globales, est essentiel.

Voir également la section Planification et gestion de projet.

Formation

Une formation complète du personnel chargé du recensement est essentielle afin de garantir la qualité des données, notamment :

Veiller à ce que les recenseurs et les superviseurs reçoivent une formation complète afin de promouvoir une application cohérente des procédures de recensement et des définitions des données.
Réduire au minimum les erreurs dans la collecte et la saisie des données grâce à des exercices pratiques et des scénarios réels.
Favoriser la compréhension de la confidentialité des données et des considérations éthiques, en soulignant l'importance d'une collecte de données précise et impartiale.

Le Bureau du recensement des États-Unis souligne que la formation constitue une phase à haut risque dans les opérations de recensement en raison de son ampleur et de son caractère urgent. Une gestion proactive des risques permet de garantir que la formation renforce la confiance et les compétences plutôt que de semer la confusion. Parmi les risques liés à la formation figurent le dysfonctionnement des appareils ou des logiciels, l'accès Internet inadéquat susceptible de perturber les sessions virtuelles, les difficultés rencontrées par les stagiaires avec les nouveaux outils ou plateformes, et le risque d'accès non autorisé aux supports de formation ou aux données personnelles. Afin d'atténuer ces risques :

Réaliser des essais à petite échelle (pilotes) afin de tester la diffusion du contenu, les plateformes technologiques et la participation des participants.
Combiner la formation en présentiel et en ligne afin de tenir compte des différents niveaux d'accès et de compétences techniques.
Fournir une assistance technique en temps réel pendant la formation grâce à des services d'assistance et des équipes de soutien.
Former le personnel aux pratiques de connexion sécurisées, à la gestion des mots de passe et au traitement des données grâce à des protocoles clairs en matière de cyberhygiène.
Dans le cadre de la planification d'urgence, préparer des manuels imprimés ou des kits de formation hors ligne comme dispositifs et supports de secours. Prévoir des plateformes alternatives ou des outils secondaires en cas de défaillance du système principal.

Concernant le suivi et l'évaluation pendant la formation, les techniques suivantes peuvent être adoptées :

Utiliser des tests et des quiz afin d'évaluer la compréhension, d'identifier les lacunes et de garantir que les stagiaires reçoivent un retour d'information.
Suivre en temps réel l'assiduité, les taux d'achèvement et les problèmes techniques grâce à des tableaux de bord de performance.
Évaluer l'efficacité des formateurs et adapter les méthodes en conséquence grâce à des évaluations des formateurs.

Voir également la section « Recrutement et formation».

Collecte de données

Les outils numériques permettent une gestion de la qualité en fournissant :

Une validation des données en temps réel afin d'identifier et de corriger les erreurs pendant le recensement, réduisant ainsi le besoin de modifications après le recensement. Les règles de validation peuvent être utilisées afin de vérifier :
- l'exhaustivité (en garantissant que tous les champs obligatoires sont remplis)
- la cohérence (vérification des incohérences logiques entre les réponses).
- l'exactitude (vérification des données au regard de plages ou de listes prédéfinies).
- Voici quelques exemples de contrôles de validation :
  - Âge compris dans une plage raisonnable.
  - Cohérence entre l'âge et le niveau d'éducation.
Suivi en temps réel de la progression et de la couverture de la collecte de données à l'aide de tableaux de bord et d'outils géospatiaux.
Contrôles de supervision via des plateformes numériques afin de surveiller les performances des recenseurs et d'identifier les problèmes potentiels. Par exemple, la gestion des cas sur le terrain par les superviseurs doit englober les méthodes par lesquelles les enquêteurs reçoivent leurs missions et gèrent l'exhaustivité des questionnaires. Les superviseurs sur le terrain doivent contrôler l'exhaustivité et la qualité des résultats des enquêteurs, puis les transmettre afin de permettre un examen par la direction et l'administration. Les responsables de terrain de niveau supérieur doivent être en mesure de suivre l'avancement des opérations d'enquête.

En termes de suivi du recensement, le recours à des observateurs indépendants issus des partenaires de développement, des bailleurs de fonds, des organisations de la société civile, des offices nationaux de statistique (ONS) en Afrique et au-delà, du monde universitaire et d'autres agences gouvernementales afin de surveiller le recensement devrait être considéré comme une activité supplémentaire d'assurance qualité. Un suivi indépendant dans des zones de dénombrement (EA) sélectionnées de manière représentative peut :

Évaluer objectivement le recensement au regard des normes internationales et de la législation nationale et fournir régulièrement des commentaires à l'ONS pendant et après les activités de recensement.
Documenter le processus de recensement, les enseignements tirés et les bonnes pratiques afin de renforcer les capacités en vue des futurs recensements.

De plus amples informations sur le suivi indépendant du recensement sont disponibles dans les Lignes directrices relatives au suivi indépendant du recensement en Afrique dans le cadre du cycle 2030 des recensements de la population et des logements.

Afin de gérer les risques pendant la collecte des données, préparer des systèmes de secours et des méthodes alternatives de collecte des données en cas de défaillance technique, à titre de plan d'urgence.

Voir également la section « Recensement et logistique ».

Traitement des données

La qualité des données et donc des résultats obtenus à partir de celles-ci est améliorée grâce à :

Des procédures automatisées de nettoyage et d'édition des données afin d'éliminer les incohérences et les erreurs.
La validation rigoureuse des données et les contrôles de cohérence à l'aide de logiciels et d'algorithmes statistiques.
La documentation des étapes de traitement afin de garantir la transparence et la reproductibilité, en veillant à ce que les transformations des données soient bien définies et vérifiables.

La gestion des risques lors du traitement des données dans le cadre du recensement numérique est essentielle afin de garantir l'exactitude, la sécurité et l'efficacité. Les risques potentiels peuvent inclure la corruption des données due à des erreurs de transmission ou de stockage conduisant à des résultats inexacts, les menaces de cybersécurité liées à des accès non autorisés, au piratage ou aux violations de données, les surcharges du système ou les défaillances logicielles, et les erreurs de traitement automatisé dues à un biais algorithmique dans le script d'édition des données compromettant l'intégrité des données. En tant que stratégie d'atténuation des risques :

Adopter des mesures de cybersécurité afin de protéger les données du recensement contre les cybermenaces grâce au chiffrement, aux contrôles d'accès et à des audits de sécurité réguliers.
Auditer régulièrement les algorithmes d'édition des données afin d'en vérifier l'équité et l'exactitude.
Maintenir des serveurs de sauvegarde et des méthodes ou centres de traitement alternatifs en établissant des sites secondaires relatifs au traitement des données. Il peut s'agir d'une autre entité gouvernementale.
Prévoir les pannes du système à l'aide d'un plan de reprise après sinistre documenté.

Concernant le suivi et l'évaluation pendant le traitement des données, les techniques suivantes peuvent être adoptées :

Utiliser des tableaux de bord afin de surveiller les erreurs de traitement et de les suivre en temps réel.
Conserver des pistes d'audit ou des journaux des modifications apportées aux données à des fins de redevabilité.
Réaliser des examens et des audits externes/indépendants afin de vérifier l'intégrité des données.

Voir également Traitement des données.

Évaluation de la qualité des données.

Après le recensement, la qualité du recensement peut être évaluée à travers diverses activités, notamment :

Comparaison des réponses globales de la population cible avec les projections démographiques ou les données administratives.
Évaluation de la cohérence et de l'exhaustivité au niveau des questions.
Mesure de la qualité du codage effectué par le personnel de terrain, par exemple le codage des professions.
Identification et résolution des réponses en double.
Réalisation d'une enquête post-recensement (PES) afin d'évaluer le niveau de sous-recensement ou de sur-recensement des personnes et des logements.
Examen des commentaires du personnel de terrain.
Réalisation d'une observation indépendante du recensement.

Avec le passage croissant aux méthodologies numériques, le paysage des risques liés à ces enquêtes a évolué, introduisant de nouveaux défis qui s'ajoutent aux défis traditionnels. Une gestion efficace des risques tout au long du cycle de vie d'une PES numérique est primordiale afin de garantir la validité de ses résultats et, par conséquent, la qualité des données du recensement. Une PES numérique peut être divisée en plusieurs étapes clés, chacune présentant ses propres risques potentiels et chacune étant traitée en conséquence.

Voir également la section « Enquête post-recensement ».

Diffusion des données

La gestion de la qualité s'étend à la manière dont les données sont présentées et utilisées, en :

Garantissant l'exactitude et la fiabilité des données grâce à un contrôle qualité rigoureux tout au long du processus.
Fournissant des métadonnées et une documentation claires afin de faciliter l'interprétation et l'utilisation correctes des données.
Promouvant la maîtrise des données et leur utilisation appropriée par le biais de formations et d'une assistance aux utilisateurs.

La gestion des risques liés à la diffusion des données numériques est essentielle afin de garantir l'intégrité, la sécurité et l'accessibilité des données. Les risques potentiels comprennent l'accès non autorisé et les violations de données, les informations erronées et la mauvaise interprétation des résultats, les pannes du système ou la perte de données, et le non-respect des lois relatives à la protection des données. Outre les aspects liés à la gestion de la qualité, il convient de valider l'exactitude des données avant leur diffusion, de les protéger contre les cybermenaces grâce à des contrôles d'accès et de garantir que les utilisateurs les comprennent correctement grâce à des protocoles de communication clairs.

Voir également la section « Analyse du recensement, Produits, Diffusion et Archivage».