En savoir plus sur l'évaluation des impacts

Dans cette étape, nous recherchons des indicateurs possibles pour les impacts qui ont été validés comme importants lors de l’étape précédente et donc sélectionnés pour une analyse plus approfondie. Pour alimenter cet exercice, un premier inventaire des indicateurs possibles peut être fait avec les participants lors des groupes de discussion de l’étape précédente : quels sont les bons indicateurs pour suivre les impacts considérés comme importants ? L'équipe chargée de l'étude complétera et élaborera ces premières idées d'indicateurs.

La pertinence de ces indicateurs est ensuite évaluée sur la base des critères suivants : une base scientifique et méthodologique solide, le fait que l'indicateur mesure ou non ce qu'il prétend mesurer, la disponibilité des données, la reproductibilité, la faisabilité pratique : facile à calculer, compréhensible, communicable, sensible aux changements dans le temps, suffisamment détaillé dans l'espace, fonctionnel, proportionnel et étayé. Ces critères décrivent l'indicateur parfait. En réalité, il est rare qu'un indicateur réponde à tous ces critères. Dans la pratique, les indicateurs sont principalement évalués sur la disponibilité des données, la faisabilité et la question de savoir si l'indicateur mesure réellement ce qu'il prétend mesurer.

Demolder et ses collaborateurs (2018) ont défini un ensemble de critères auxquels un bon indicateur doit répondre. Ils fournissent un cadre pour évaluer la pertinence des indicateurs.

• Scientifiquement et méthodologiquement solide. Les indicateurs doivent être basés sur des données et des méthodes clairement définies, vérifiables et scientifiquement acceptables. 
• L'indicateur mesure-t-il ce qu'il prétend mesurer ? Il doit y avoir une relation claire entre ce que l'indicateur représente et le phénomène auquel il se réfère.
• Disponibilité des données. Il n'y a pas d'indicateur sans données. Et plus la période pour laquelle les données sont disponibles est longue, mieux les tendances peuvent être visualisées.
• Reproductibilité. La disponibilité des données nécessaires doit également être garantie pour l'avenir, et la méthode de calcul de l'indicateur doit pouvoir être reproduite de manière comparable.
• Faisabilité pratique, facile à calculer. Idéalement, les données devraient être facilement disponibles et l'indicateur relativement facile à calculer.
• Compréhensible, communicable. Un indicateur doit être compréhensible pour les non-spécialistes. Cela exige non seulement une présentation claire, mais aussi que la relation entre la mesure et ce que l'indicateur veut exprimer soit claire pour faciliter l'interprétation.
• Sensible aux changements dans le temps et suffisamment détaillé dans l'espace. Les indicateurs doivent être suffisamment détaillés, à la fois dans l'espace et dans le temps, pour montrer l'évolution des phénomènes pertinents et pour alimenter la politique et le débat public.
• Indicateur de fonctionnalité. Un indicateur ne doit pas seulement être pertinent par rapport à ce qu'il tente de mesurer, mais doit également aider à orienter vers des objectifs politiques et ne pas générer d'effets indésirables. 
• Du temps et des ressources. Le temps et les ressources consacrés à la collecte et au traitement des données ainsi qu'à l'établissement des rapports sont-ils justifiés par rapport à la valeur ajoutée de l'indicateur ?
• Soutien des parties prenantes. La force d'un indicateur pour le suivi et le pilotage d'une politique dépend de la mesure dans laquelle il est soutenu par les parties prenantes. Les concepteurs et les parties prenantes sont-ils d'accord sur les indicateurs qu'ils veulent suivre et sur la façon dont ils seront mesurés et présentés ?

Une fois les indicateurs sélectionnés, nous examinerons d'abord si nous pouvons les étayer par des données quantitatives. En l'absence de bonnes données quantitatives, les parties prenantes et les experts peuvent être consultés pour documenter et estimer les impacts. L'utilisation de données quantitatives ne rend pas superflu l'utilisation des connaissances et des points de vue des parties prenantes et des experts. Au contraire, il est bon de combiner les deux.

Pour surveiller et rapporter les impacts au fil du temps, les données déjà existantes peuvent être utilisées (données secondaires). A défaut, une nouvelle collecte de données peut être mise en place (données primaires).

Les données existantes proviennent généralement de sources administratives (par exemple, les données sur le nombre d'hébergements, de lits et de nuitées), du monitoring (par exemple, les données sur la qualité de l'eau) et d'enquêtes (enquêtes de satisfaction sur les zones naturelles). 

La collecte de nouvelles données au niveau d'un projet de restauration ou de développement de la nature reposera principalement sur le monitoring (par exemple, le comptage du nombre de marcheurs et de cyclistes dans une zone ou le suivi du taux de carbone du sol) ou l'interrogation (par exemple, sur l'utilisation de la zone par les résidents locaux).

Si les données existantes ne sont pas utiles et que la mise en place d'une nouvelle collecte de données n'est pas envisageable, alors certains impacts peuvent également être estimés par modélisation. Cela peut être fait en utilisant les outils de calcul existants tels que l'ECOPLAN SE (par exemple pour calculer les effets d'un changement d'utilisation des sols sur la pollution atmosphérique) ou des modèles spécifiques (par exemple pour calculer les risques d'inondation). Une alternative à la modélisation est l'utilisation d’avis d'experts.

L'utilisation des données existantes n'est pas suffisante pour prédire les impacts socio-économiques futurs attendus d'un projet. Lors de l'estimation des impacts futurs, il sera donc nécessaire de faire appel aux parties prenantes, aux experts et/ou aux modèles. En raison de la diversité des impacts socio-économiques possibles, il n'existe pas d'approche unique. Il est toutefois important, lorsque l'on a recours à des évaluations réalisées par des experts et des parties prenantes, de faire preuve de transparence en documentant clairement la méthode utilisée et les hypothèses formulées.

L'utilisation de données existantes (données secondaires) et le lancement d'une nouvelle collecte de données (données primaires) ont leurs avantages et leurs inconvénients. L'avantage majeur de l'utilisation des données existantes est qu'elles ne nécessitent pas de nouvelle collecte de données et permettent, grâce à une recherche documentaire, de cartographier l'impact des actions pour la zone du projet et éventuellement au-delà (évolution autonome). Un inconvénient est que les données existantes peuvent ne pas convenir à 100 % à l'analyse. La plupart du temps, ces données existantes sont souvent collectées dans un but différent, ce qui fait que la taille de l'échantillon, les détails spatiaux et les questions posées peuvent être moins bien adaptés que si une nouvelle analyse calibrée pour répondre précisément à l’objectif de l’AISE avait été réalisée. Pour y remédier, des données supplémentaires et des manipulations de données peuvent être nécessaires. L'utilisation des données collectées par des tiers peut également entraîner des coûts et d'autres conditions. Un autre 'avantage d 'une nouvelle collecte de données est qu'elle permet de se concentrer uniquement sur les besoins de l’AISE. En utilisant des méthodes qualitatives et participatives, il est possible d'obtenir des informations supplémentaires sur les impacts, la manière dont ils sont créés, leur importance et les raisons pour lesquelles ils sont si importants. Un inconvénient important de la nouvelle collecte de données, comme la mise en place du suivi et la réalisation de questionnaires, est que, selon la méthode et la taille de l'échantillon, cela nécessite beaucoup de temps et de ressources.

Pour les indicateurs sélectionnés, vous devez d'abord définir à quel type de données on aurait besoin pour chacun des indicateurs. Ensuite, commencez à chercher si les données souhaitées existent déjà et à qui elles appartiennent. Si les données existent, elles sont parfois librement accessibles. Sinon, contactez le propriétaire et discutez des conditions dans lesquelles les données peuvent être mises à votre disposition et utilisées. Pour l'échange de données sensibles à la vie privée, concluez un accord ou un protocole de confidentialité avec le propriétaire. C'est relativement souvent le cas, car pour une analyse d'impact socio-économique, vous recherchez des données spatialement explicites, qui ont plus de chances d'avoir une dimension personnelle. Étant donné que la délimitation des données nécessaires ainsi que l'analyse et l'interprétation des données reçues nécessitent parfois une interprétation supplémentaire, il est intéressant d'inviter le propriétaire des données à analyser et à interpréter les données ensemble. Si les données n'existent pas encore, une nouvelle collecte de données peut être lancée. Veuillez vous référer au manuel ‘Ontwerp en evaluatie van meetnetten voor het milieu- en natuurbeleid. Leidraad voor de meetnetontwerper’ ("Conception et évaluation des réseaux de surveillance pour la politique de l'environnement et de la nature") de Wouters et al. (2008).
 

Quelle est notre compréhension de ces impacts ? Dans quelle mesure les indicateurs utilisés correspondent-ils aux impacts ? De plus, les données utilisées, les modèles (souvent génériques) et les méthodes de remise en question des connaissances et des points de vue des parties prenantes et des experts ne sont pas toujours parfaits. C'est une réalité lorsqu'on réalise une AISE pour des projets de restauration et conservation de la nature. C'est pourquoi il est important d'évaluer les résultats de l'analyse d'impact. Quelles sont les principales incertitudes et quelle influence ont-elles ou pourraient-elles avoir sur l'évaluation des impacts ? Les indicateurs, ainsi que les données et les méthodes utilisées, mesurent-ils ce qu'ils sont censés mesurer ? Les impacts n’ont-ils pas été sur- ou sous-estimés ? Les résultats de l'analyse d'impact ne sont-ils pas trompeurs ? Dans cette étape, nous cherchons des réponses à ces questions, entre autres en effectuant des analyses d'incertitude. Il peut être utile d'impliquer des experts et des parties prenantes dans ce processus.