L’évaluation de la mise en œuvre et des effets de l’EDM s’inscrit dans le cadre d’une évaluation fondée sur la théorie, où la conception et la mise en œuvre de l’évaluation sont guidées par la théorie de l’intervention. La figure 3 illustre la théorie selon laquelle la mise en œuvre de l’EDM pourrait améliorer l’efficience de la politique nationale de gratuité des soins. La théorie de l’EDM est basée sur la littérature et les pratiques de soins montrant qu’une prise de décision efficace joue un rôle important dans l’efficacité de la prestation de services et dans l’efficience allocative des ressources aux formations sanitaires.
Avec la mise en réseau d’outils digitaux clés et le renforcement des capacités des responsables des formations sanitaires dans la prise de décisions, on s’attend à ce que le déploiement de l’EDM améliore la disponibilité de données de qualité sur l’utilisation des services de santé. La disponibilité de ces données sur un tableau de bord numérique et leur utilisation effective et régulière pour la prise de décision va améliorer la disponibilité des médicaments et la satisfaction des utilisateurs des services de santé, ce qui va entrainer l’augmentation de la fréquentation des services de santé et de la qualité des services (disponibilité des médicaments et qualité des diagnostics). A long terme, tout ceci protègerait les ménages contre les dépenses de santé catastrophiques et appauvrissantes et améliorerait la santé maternelle et infantile.
Le déploiement des outils digitaux dans le cadre de l’EDM a été précédé d’un processus préparatoire impliquant plusieurs parties prenantes. Dès que l’initiative de mettre en œuvre l’EDM a été actée, le ST-RFS a convié les principales parties prenantes (autres directions du ministère en charge de la santé concernées, ONG de mise en œuvre, RESADE) pour convenir de la liste d’outils digitaux à retenir pour l’EDM en début juin. Puis, les acteurs des DS de Ziniaré et de Ténado ainsi que leurs DRSHP respectives (DRSHP du Plateau Central et du Centre Ouest) ont été conviés en mi-juin 2023 à deux rencontres : la première pour les informer de l’EDM et du choix des districts d’intervention (pilotes), et la deuxième pour définir les indicateurs du (futur) tableau de bord de l’EDM. Parallèlement, les ONG de mise en œuvre et la DSI procédaient aux développements complémentaires pour certains outils (ex. : REC-maternité, m-Health, E-flux financier), au développement entier pour d’autres outils (ex. : FIS), et à la conception des modules de formations des acteurs sur les outils.
En outre, le ST-RFS et la direction des systèmes d’information (DSI) ont procédé, en collaboration avec les DS de Ziniaré et de Ténado, à une cartographie des ressources technologiques disponibles dans les FS et au niveau central et pouvant servir à l’EDM, en vue d’estimer les besoins et de faire des acquisitions. Cette cartographie a permis de constater que la quasi-totalité des FS disposaient de tablettes dont elles avaient été dotées lors de projets et activités antérieures (riposte à la COVID-19, campagne MILDA, etc.). Ces tablettes ont donc été mises à contribution pour le déploiement des outils de l’EDM.
Ainsi, les formations suivies du déploiement des outils digitaux ont commencé les 28 et 29 août 2023 à Ziniaré avec la formation des acteurs du district sur E-gratuite et E-qualite, marquant en même temps le déploiement de ces outils. Cela a été suivi de la formation des acteurs du DS de Ténado sur le NETSIGL en septembre 2023 (mais ils ont attendu fin décembre 2023 pour le déploiement). Du 2 au 9 octobre 2023, un atelier de finalisation de la FIS a regroupé les acteurs des DS pilotes et leurs DRSHP correspondantes, le ST-RFS, la DSI, CHAI, Living Goods, Cooper Smith, Terre des hommes et RESADE. Au cours de cet atelier, les informaticiens de la DSI, appuyés par les ONG, ont finalisé la FIS et l’ont soumise au test des acteurs opérationnels présents. À la suite de cet atelier, la FIS a fait l’objet de formation et de déploiement du 16 au 20 octobre 2023, simultanément dans les DS de Ziniaré et de Ténado. De même, une supervision intégrée sur la FIS a été réalisée du 22 au 27 octobre dans ces deux districts pour assurer une meilleure adhésion et utilisation de l’outil par les acteurs.
En novembre 2023, l’on a assisté à la formation des acteurs de Ténado, suivie du déploiement des outils E-qualité et E-flux financier. Le DS de Ziniaré a reçu la formation et le déploiement de E-flux financier à mi-décembre 2023.
Le dernier outil ayant fait l’objet de formation et de déploiement est le REC-maternité, de fin décembre 2023 à février 2024 à Ziniaré, et en janvier 2024 à Ténado.
Il convient de noter certains points clés :
1. Un groupe WhatsApp regroupant tous les acteurs a été créé, permettant aux utilisateurs des outils d’échanger entre eux et avec les informaticiens et coordinateurs pour exposer leurs difficultés afin de trouver des solutions.
2. C’est essentiellement dans le cadre du déploiement du NETSIGL 2.0 à Ténado que les FS ont bénéficié d’une nouvelle dotation en tablettes (1 tablette par FS), mais cela s’expliquerait par le fait que le processus de déploiement du NETSIGL (y compris le budget) était fixé avant le début de l’EDM, sur un financement différent.
L’objectif de l’évaluation est d’analyser les processus de mise en œuvre, les effets et la soutenabilité de l’EDM afin de fournir des données pour améliorer la mise en œuvre de l’EDM et d’informer la prise de décision pour le passage à l’échelle. Cette évaluation s’inscrit dans le cadre global de la science de la mise en œuvre, où l’objectif est de comprendre simultanément l’efficacité de la mise en œuvre de l’EDM ainsi que son efficacité dans l’amélioration de la prestation de services et de la prise de décision fondée sur des données probantes. Notre processus d’évaluation s’appuiera sur divers outils, théories et cadres conceptuels et sera guidé par un modèle hybride efficacité-mise en œuvre (1). Nous utiliserons le cadre de la Medical Research Council (2,3] pour l’évaluation des interventions et le cadre des résultats de la mise en œuvre (implementation outcomes) (4) pour structurer le processus d’évaluation en examinant l’efficacité de la mise en œuvre de l’EDM.
Le cadre global de la présente évaluation présenté dans la figure 3. Il s’appuie sur un ensemble d’approches pour répondre aux questions d’évaluation correspondant aux phases de déploiement de l’EDM. Compte tenu de la complexité de l’EDM, de son cycle de maturité et les phases de son déploiement, nous adopterons une position pragmatique pour répondre pour répondre aux objectifs de l’évaluation. À cette fin, nous articulerons notre approche d’évaluation sur les différentes étapes de la mise en œuvre, incluant la phase avant son déploiement, le stade précoce de son déploiement, le stade intermédiaire avancé de son déploiement et la fin de la phase pilote. Nous développerons des questions d’évaluation spécifiques appropriées et adaptées à chaque étape de la mise en œuvre, que nous affinerons au fur et à mesure.
Le choix des districts sanitaires a été guidé par quatre critères :
Les caractéristiques des districts sanitaires candidats à l’intervention et au contrôle au début de l’EDM sont présenté dans le tableau suivant.
|
District sanitaire
|
Région
|
Présence du REC PCIME
|
Nombre d'accouchements attendus en 2021
|
Nombre d'enfant inférieur à 5 ans
|
|---|---|---|---|---|
Deux DS, Ziniaré et Ténado, ont été choisies de façon raisonnée pour être les sites de mise en œuvre de l’EDM. Le DS de Ziniaré est situé dans la région du Plateau Central. Il compte 74 CSPS et CM et un CMA, sept communes et couvre une superficie de 2 774 km2. Selon le recensement général de la population et de l’habitat (RGPH) de 2019, sa population était estimée à 327 153 habitants. Quant au DS de Ténado, il est situé dans la région du Centre-Ouest. Il compte 28 CSPS et CM, cinq communes et couvre une superficie de 3089 km2. Selon le RGPH de 2019, sa population était estimée à 199 967 habitants.
Un district contrôle, par définition, a des caractéristiques comparables au district d’intervention excepté l’intervention. Nous considérons un district contrôle qui est comparable au district d’intervention suivant les caractéristiques des CSPS. Nous choisirons un district contrôle pour le DS de Ziniaré et deux districts contrôles pour le DS de Ténado (un avec le REC PCIME et un sans le REC PCIME). Le contrôle avec REC PCIME a été considéré pour tenir compte de l’expérience du Burkina Faso en matière de digitalisation, le REC PCIME étant l’outil de digitalisation le plus répandu au Burkina Faso. Le DS contrôle sans le REC PCIME sert à rendre compte de l’effet de l’EDM en absence de tout outil digital. Il y a au total 17 DS au Burkina Faso (sur un total de 70) où le REC PCIME n’est pas déployé. Ce faible effectif (< 200) rend invalide l’utilisation de la méthode des scores de propension pour la sélection des districts contrôles, d’où le recours à des critères contextuels pour cette sélection. Des raisons opérationnelles ont prévalu au choix des districts contrôles, notamment la prise en compte des contraintes sécuritaires – huit régions soumises à l’état d’urgence n’ont pas été inclues dans la sélection des districts. En outre, la région du Centre qui couvre la capitale Ouagadougou et la région du Sud-Ouest, du fait de son éloignement et du risque d’insécurité n’ont pas été inclus dans la sélection. Au total, seuls donc les DS des régions du Centre-Sud, du Plateau Central et de la région du Centre-Ouest qui ont été examinés. Trois critères dont deux en rapport avec la politique de gratuité des soins ont été utilisés : le nombre d’accouchements attendus, le nombre d’enfants de moins de 5 ans, et la localisation urbaine versus rurale.
La démarche exposée a permis d’identifier le DS de Manga comme district contrôle pour le DS de Ziniaré et les DS de Boussé (avec REC PCIME) et de Kombissiri (sans REC PCIME) comme districts contrôles pour le DS de Ténado.
Important : Pour des raisons de différence notables entre les témoins du district de Boussé et le district d’intervention, une autre appréciation du district contrôle a permis de sélectionner le district de Sapouy comme témoin du district de Ténado.
Compte tenu de la complexité de l’EDM, de son déploiement progressif et séquentiel en plusieurs phases, et étant donné que l’évaluation vise à examiner à la fois la mise en œuvre et les effets de l’EDM, nous utiliserons à tous les stades de l’évaluation des schémas d’étude hybrides [30] combinant méthodes qualitatives, méthodes quasi-expérimentales et méthodes mixtes, ainsi que les différentes approches de la recherche opérationnelle adaptées aux différentes phases de mise en œuvre des interventions de santé digitales.
Dans le cadre de l’étude visant à évaluer l’EDM (Écosystème Digital Minimal) que le Burkina Faso envisage de mettre en place, quatre districts sanitaires avaient été désignés. Deux districts, Ziniaré et Tenado, ont été choisis pour la mise en œuvre de l’EDM, tandis que les deux autres, Boussé et Manga, ont été désignés comme districts témoins. Le choix de ces districts a été guidé par quatre critères fondamentaux :
i) Contraste entre les zones urbaines et rurales.
ii) Proximité de l’équipe nationale de coordination et de suivi pour faciliter le déploiement des applications.
iii) Préexistence de l’utilisation du REC-PCIME et d’autres solutions numériques dans les districts.
iv) Situation de sécurité relativement stable, excluant les zones à problèmes de sécurité élevés.
Afin d’évaluer de manière approfondie l’efficacité de l’EDM, nous avons suivi une approche d’échantillonnage éclairé des formations sanitaires en deux étapes distinctes :
Etape 1 : Calcul de la taille de l’échantillon
Notre objectif principal était de déterminer le nombre de formations sanitaires à inclure dans l’étude afin de garantir une puissance statistique adéquate. Ce calcul repose sur le coût moyen des accouchements. En effet, selon les directives du ministère de la santé, l’EDM est susceptible de réduire les disparités des facturations liées aux coûts des accouchements normaux, potentiellement dues à des surfacturations, dans le but de rendre la politique de gratuité soutenable dans la durée.
La formule suivante a été utilisée :
Où
– f désigne l’effet grappe,
– α désigne l’erreur de première espèce,
– 1-β désigne la puissance statistique.
– p1 et p2 les proportions de formations sanitaires dont le coût moyen d’un accouchement normal par voie basse serait hors de l’intervalle d’intérêt respectivement au début et après l’intervention
Nous avions posé les hypothèses suivantes ; f =2 (qui est recommandé), α = 5% et 1-β = 80%, et une réduction de 40% des écarts, soit P1-P2=40%.
Les résultats obtenus montre une nécessité de 20 Formations sanitaires dans chacun des districts de ZINIARE et MANGA ; et 16 Formations sanitaires dans chacun des districts de TENADO et SAPOUY.
Etape 2 : Sélection d’un échantillon représentatif
Notre objectif était de constituer un échantillon représentatif des formations sanitaires en fonction de leur performance et de leur activité. À cette fin, nous avons pris en considération trois indicateurs qui semblent être les meilleurs proxies :
– Le nombre d’enfants de moins de 5 ans ayant reçu des soins curatifs au cours des années 2020 à 2022.
– Le montant total de la facturation liée à la gratuité pour les années 2020 à 2022.
– Le nombre total d’accouchements (normaux et assistés) effectués au cours des années 2020 à 2022.
Nous avons ensuite réalisé une autocorrélation spatiale de Moran afin de définir différentes classes HH (high-high), HL (high-low), LL (low-low) et LH (low high). Les formations sanitaires ont été sélectionnées en fonction de la valeur de la p-value locale, avec un seuil fixé à 0,08. Une formation sanitaire a été incluse si elle était significativement associée à au moins l’un des trois indicateurs.
Au total, les formations sanitaires suivantes ont été retenues :
| ZINIARE | MANGA | TENADO | SAPOUY | |||||
|---|---|---|---|---|---|---|---|---|
|
|
|
|
Liste initiale* |
Liste finale** |
Liste initiale* |
Liste finale** |
||
|
HH |
||||||||
|
Bangrin |
CM Gomboussougou |
|
Koulkouldi |
Koulkouldi |
Urbain Sapouy |
Urbain Sapouy |
||
|
CM Guiloungou |
Kopelin |
|
Tialgo |
Tialgo |
Koundi |
Koundi |
||
|
Nagreongo |
Nag-Rigré |
|
Poa |
|
Nebrou |
Nebrou |
||
|
Nomgana |
Sinikere |
|
Lia |
|
Bazilakoa |
CM Cassou |
||
|
Sadaba |
Zourmakita |
|
|
|
|
Napo Nabilpaga |
||
|
HL |
||||||||
|
Badnogo-Oubritenga |
CM Bindé |
|
Batondo |
Batondo |
Bawiga |
Bawiga |
||
|
Barkuitenga |
Guiba |
|
CM Ténado |
CM Ténado |
Bougnounou |
Bougnounou |
||
|
Donsin |
Kaibo-Centre |
|
Zamo |
CM Kyon |
Nassira |
|
||
|
Kuilkinka |
Nobere |
|
|
CM Pouni |
|
|
||
|
Urbain Ziniaré |
Urbain Manga |
|
|
Tita |
|
|
||
|
LH |
||||||||
|
Kolokom |
Basgana |
|
Balianvalse |
Balianvalse |
Bwon |
Bwon |
||
|
Laongo |
Boura (Manga) |
|
Baporo |
Poun |
Sapo |
Sapo |
||
|
Oubriyaoghin |
Goyenga dispensary |
|
Bavila |
Doudou |
Thiao |
Thiao |
||
|
Satin |
Kondre |
|
Guigui |
Edie |
Dalo |
Gnanssou |
||
|
Taonsgo |
Korgueria |
|
Koalio |
Tyelle |
Kassolo Tiabona |
Ouayou |
||
|
LL |
||||||||
|
Ipala |
Kassougou dispensary |
|
Bandeo-Naponé |
Bandeo-Naponé |
Bakata |
Bakata |
||
|
Manessa |
Koulpeloghin dispensary |
|
Lilbouré |
Lilbouré |
Biyene |
Biyene |
||
|
Nionio Kodogo |
Kazanga |
|
Tiodié |
Tiodié |
Basnere |
Tayalo |
||
|
Ourgou_Mossi |
Pissy |
|
Tiogo |
Zawara |
Dialo |
Sourou |
||
|
Youtenga |
Zigla |
|
|
|
|
|
||
NB : Chaque formation sanitaire sélectionnée était évaluée selon l’accessibilité lié aux raisons sécuritaires. Lorsque les conditions n’étaient pas favorables, elle était remplacée par une formation sanitaire de la même classe.
La collecte a porté à la fois sur des données primaires de secondaires produites avant et pendant la mise en œuvre de l’intervention. Ces données seront de nature qualitative et quantitative et inclura les bases de données existantes.
Plusieurs outils et techniques de collecte de données seront utilisés.
– Des grilles d’extraction de données
– Des questionnaires fermés / semi-ouverts
– Des grilles d’observation
– Des grilles d’extraction de données
– Les guides d’entretiens individuels
– Des guides de discussions en groupe
Tous ces outils seront numérisés sous forme de questionnaires électroniques ou de guides électroniques.
– La revue documentaire
– L’administration de questionnaires par entretiens individuels en face-à-face
– L’extraction des données au niveau des structures sanitaires
– L’observation des activités de l’intervention
– La revue documentaire
– Les entretiens individuels en face-à-face ou à distance
– Les discussions en groupes en face-à-face
– Les entretiens informels
– L’extraction des données au niveau des structures sanitaires
– L’observation participante et non participante des activités de l’intervention
Les entretiens avec les informateurs clés seront enregistrés sur un support électronique si un consentement est obtenu et si cela est commode (cas des discussions informelles). Autrement, nous prendrons des prises de notes sur papier à l’aide de stylo.
Avant les collectes des données, une formation sera menée au profit des personnes en charge de ces collectes. Elle comprendra des exposés théoriques, des jeux de rôles et la pratique sur le terrain. Un pré-test des outils sera fait et des améliorations apportées avant la phase de collecte à proprement parler. Les agents retenus pour l’enquête seront répartis en deux groupes. Le premier groupe comptera des agents collecteurs des données et le second groupe des contrôleurs de la qualité des données. Le travail de contrôle portera sur le respect des consignes pour l’administration des questionnaires et des aspects visant à garantir la validité, la fiabilité et l’intégrité des données. Enfin, un superviseur par district sera chargé de vérifier que le travail de contrôle est réalisé comme prévu. Par ailleurs, une communication constante entre l’équipe de recherche et les agents de terrain sera assurée pour assurer une bonne collecte des données
