Leer meer over het beoordelen van de impacts

In deze stap gaan op zoek naar mogelijke indicatoren voor de impacts die in vorige stap als belangrijk werden bestempeld en dus geselecteerd werden voor de verdere analyse. Om deze oefening te voeden kan tijdens de focusgroepen uit de vorige stap met de deelnemers een eerste inventarisatie van mogelijke indicatoren gebeuren: wat zijn goede indicatoren om de belangrijk geachte impacts op te volgen? Het studieteam zal deze eerste ideeën voor indicatoren aanvullen en uitwerken.

Vervolgens worden deze indicatoren beoordeeld op hun geschiktheid aan de hand van volgende criteria: wetenschappelijk en methodologisch goed gefundeerd, of de indicator meet wat hij beweert te meten, databeschikbaarheid, reproduceerbaarheid, praktisch haalbaar: eenvoudig te berekenen, begrijpbaar, communiceerbaar, gevoelig voor veranderingen in de tijd, ruimtelijk voldoende gedetailleerd, functioneel, proportioneel en gedragen. Deze criteria beschrijven de perfecte indicator. In de realiteit zal een indicator zelden aan al deze criteria voldoen. In de praktijk worden indicatoren voornamelijk beoordeeld op databeschikbaarheid, haalbaarheid en het feit of de indicator echt wel meet wat hij beweert te meten.

Demolder et al. (2018) hebben een set van criteria gedefinieerd waaraan een goede indicator dient te voldoen. Deze vormen een toetsingskader om de geschiktheid van indicatoren te evalueren.

• Wetenschappelijk en methodologisch goed gefundeerd. Indicatoren moeten gebaseerd zijn op helder gedefinieerde, verifieerbare en wetenschappelijk aanvaardbare data en methoden. 
• Meet de indicator wat hij beweert te meten? Er moet een duidelijke relatie zijn tussen wat de indicator weergeeft en het fenomeen waarnaar hij verwijst.
• Beschikbaarheid data. Zonder data geen indicator. En hoe langer de periode waarvoor de data beschikbaar zijn hoe beter de trends gevisualiseerd kunnen worden
• Reproduceerbaarheid. De beschikbaarheid van de benodigde data moet ook naar de toekomst toe gewaarborgd zijn én de methode voor het berekenen van de indicator moet opnieuw en op een vergelijkbare manier uitgevoerd kunnen worden.
• Praktisch haalbaar, eenvoudig te berekenen. Idealiter is de data vlot beschikbaar en de indicator relatief eenvoudig te berekenen.
• Begrijpbaar, communiceerbaar. Een indicator moet begrijpbaar zijn voor niet-specialisten. Dit vraagt niet alleen om een heldere presentatie, maar ook de relatie tussen de meting en hetgeen de indicator wil vertolken moet duidelijk zijn voor een vlotte interpretatie.
• Gevoelig voor veranderingen in de tijd en ruimtelijk voldoende gedetailleerd. Indicatoren moeten zowel ruimtelijk als temporeel voldoende fijn zijn om veranderingen in relevante fenomenen te kunnen tonen en om het beleid en het publiek debat te voeden.
• Functionaliteit indicator. Een indicator moet niet alleen relevant zijn voor datgene wat de indicator tracht te meten, maar moet ook helpen om te sturen in de richting van de beleidsdoelen en geen ongewenste effecten genereren. 
• Tijdsbesteding en middelen. Zijn de tijd en middelen die gaan naar de verzameling en verwerking van de data en de rapportering verantwoord ten opzichte van de toegevoegde waarde van de indicator?
• Gedragenheid bij belanghebbenden. De kracht van een indicator voor de opvolging en sturing van beleid hangt mee af van de mate waarin deze gedragen wordt door belanghebbenden. Zijn de ontwerpers en de belanghebbenden het eens over de verandering die ze willen opvolgen en over hoe die wordt gemeten en voorgesteld?

Als de indicatoren geselecteerd zijn, gaan we eerst kijken of we deze kunnen stofferen met kwantitatieve data. Bij gebrek aan goede kwantitatieve data kunnen stakeholders en experten geraadpleegd worden om impacts te documenteren en in te schatten. Het gebruik van kwantitatieve data maakt het gebruik van kennis en inzichten van stakeholders en experten niet overbodig. Integendeel, het is goed om beide te combineren.

Voor het opvolgen en rapporteren van de impacts doorheen de tijd kan er gebruik gemaakt worden van bestaande data en data-initiatieven (secundaire data). Bij gebrek daaraan kan een nieuwe data-inzameling opgezet worden (primaire data). 

Bestaande data is doorgaans afkomstig van administratieve bronnen (bijvoorbeeld gegevens over het aantal logies, bedden en overnachtingen), monitoring (bijvoorbeeld waterkwaliteitsgegevens) en bevragingen (tevredenheidsonderzoek van natuurdomeinen). 

Nieuwe data-inzameling op niveau van een natuurherstel- of -ontwikkelingsproject zal voornamelijk een beroep doen op monitoring (bijvoorbeeld tellen van het aantal wandelaars en fietsers in een gebied of opvolgen van de bodemkoolstof) of bevraging (bijvoorbeeld over het gebruik van het gebied door omwonenden). 

Wanneer de bestaande data en data-initiatieven niet bruikbaar zijn en het opzetten van een nieuwe data-inzameling is geen optie dan kunnen bepaalde impacts ook ingeschat worden via modellering. Dat kan via bestaande rekeninstrumenten zoals de ECOPLAN SE (bijvoorbeeld om de effecten van een landgebruiksverandering op het vlak van luchtzuivering te becijferen) of specifieke modellen (bijvoorbeeld om overstromingsrisico’s te berekenen). Een alternatief voor modellering is het gebruik van expert judgement. 

Voor het voorspellen van de verwachte, toekomstige sociaaleconomische impacts van een project volstaat het gebruik van bestaande data niet. Bij het inschatten van toekomstige impacts zal daarom een beroep gedaan moeten worden op stakeholders, experten en/of modellen. Omwille van de diversiteit aan mogelijke sociaaleconomische impacts is er hiervoor geen passe-partout aanpak. Wel is het belangrijk om bij het gebruik van expert- en stakeholdergebaseerde beoordelingen transparant te zijn door de gevolgde werkwijze en assumpties duidelijk te documenteren.

Zowel het gebruik van bestaande data en data-initiatieven (secundaire data) als de opstart van nieuwe data-inzameling (primaire data) heeft zo zijn voor- een nadelen. Het grote voordeel van het gebruik van bestaande data is dat deze geen nieuwe data-inzameling vergen en toelaten om via deskresearch de impact van veranderingen in beeld te brengen voor het projectgebied en mogelijk ook daarbuiten (autonome evolutie). Een nadeel is dat de bestaande data mogelijk niet voor de volle honderd procent geschikt is voor de analyse. Bestaande data zijn immers vaak met een ander doel verzameld waardoor onder meer de grootte van de steekproef, het ruimtelijk detail en de vraagstelling misschien minder geschikt zijn. Om daaraan te verhelpen kunnen soms bijkomende data en datamanipulaties nodig zijn. Ook kunnen er kosten en andere voorwaarden verbonden zijn aan het gebruik van data ingezameld door derden. Het voordeel van een nieuwe data-inzameling is dat dit kansen biedt om zuiver te focussen op de noden van de SEIA. Door daarbij gebruik te maken van kwalitatieve en participatieve methoden is het mogelijk om extra inzicht te verwerven in onder meer de impacts, de manier waarop ze tot stand komen, hoe belangrijk ze zijn en waarom ze zo belangrijk zijn. Een belangrijk nadeel van een nieuwe data-inzameling zoals het opzetten van monitoring en het uitvoeren van bevragingen is dat dit, afhankelijk van de methode en de grootte van de steekproef, vrij veel tijd en middelen vergt. Bovendien is de kans dat het gebruik van de data beperkt blijft tot het project zelf.

Voor de geselecteerde indicatoren definieer je eerst hoe de gewenste data voor elk van de indicatoren eruitziet. Dan ga je op zoek of deze gewenste data reeds bestaat en wie ervan de eigenaar is. Als de data bestaat, is deze soms vrij beschikbaar. In het andere geval neem je contact op met de eigenaar en bespreek je de voorwaarden waaronder de data ter beschikking gesteld en gebruikt kunnen worden. Voor de uitwisseling van data die privacygevoelig is, sluit je met de eigenaar een vertrouwelijkheidsovereenkomst of protocol af. Dat is relatief vaak het geval, omdat je voor een sociaaleconomische impactanalyse op zoek bent naar ruimtelijk expliciete data en die heeft al sneller een persoonsgebonden dimensie. Omdat zowel de aflijning van de benodigde data als de analyse en interpretatie van de ontvangen data soms extra duiding vergt, is het interessant om de eigenaar van de data uit te nodigen om de data samen te analyseren en interpreteren. Als de data nog niet bestaat, kan een nieuwe data-inzameling opgestart worden. Hiervoor verwijzen we graag naar de handleiding ‘Ontwerp en evaluatie van meetnetten voor het milieu- en natuurbeleid. Leidraad voor de meetnetontwerper’ van Wouters et al. uit 2008.

Hoe goed is ons begrip van die impacts? Hoe goed passen de gebruikte indicatoren bij de impacts? En ook de gebruikte data, (vaak generieke) modellen en methodes om de kennis en inzichten van stakeholders en experts te bevragen zijn niet altijd perfect. Dit is een realiteit bij de uitvoering van een SEIA voor natuurherstel- en ontwikkelingsprojecten. Om die reden is het belangrijk om de resultaten van de impactbeoordeling te evalueren. Wat zijn de belangrijkste onzekerheden en welke invloed hebben of kunnen ze hebben op de beoordeling van de impacts? Meten de indicatoren, en de daarvoor gebruikte data en methoden, wat ze bedoelen te meten? Werden de impacts niet te hoog of te laag ingeschat? Zijn de resultaten van de impactbeoordeling niet misleidend? In deze stap gaan we op zoek naar antwoorden op deze vragen, onder meer door het uitvoeren van onzekerheidsanalyses. Daarbij kan het waardevol zijn om experten en stakeholders in te schakelen.