Statistieken, wetgeving en beleid

At
long last— now, isn’t it terrific:
Swords into spreadsheets, and digital tears—
How rulers rule, is truly scientific.
– Anonieme straatzanger (Covent Garden Market,
november 2002).

It
starts from a number; then there is a missing link;
and it finishes up with draconian
legislation.
–John Brignell

Regelmatig duiken in de media
sensationele verhalen op van het type ‘Onderzoek wijst uit dat V een oorzaak is
van W’ of ‘Gebruikers van S hebben x keer meer risico op T’. Vaak zijn dat
althans op het eerste gezicht erg verontrustende berichten.^[1] Scholen, verkiezingscampagnes en brochures en campagnes voor fondsenwerving
van allerlei pressie- en actiegroepen dragen ruimschoots hun steentje bij tot
het creëren en instandhouden van wat men wel ‘de cultuur van de angst’ noemt.^[2]

Bijna al die waarschuwingen berusten op
statistisch onderzoek; slechts uitzonderlijk blijkt de berichtgeving te
verwijzen naar klinisch of gecontroleerd experimenteel onderzoek. Zij heeft het
bijna uitsluitend over verbanden die ‘mogelijk’, ‘naar men vermoedt’,
‘waarschijnlijk’ of ‘het valt niet uit te sluiten’ interessante onderwerpen
voor wetenschappelijk onderzoek zijn. Het is evenwel pas nadat onderzoek is
gedaan en nadat het de test van de wetenschappelijke kritiek heeft doorstaan
dat men kan zeggen of er een causaal mechanisme is dat de statistisch gevonden
‘verbanden’ verklaart. De ‘cultuur van de angst’ drijft niet op wetenschappelijk
onderzoek maar op de ruchtbaarheid die gegeven wordt aan met louter
statistische methoden gevonden verbanden.

De opmars van de statistiek is niet beperkt
tot de media. De uitbreiding van het staatsapparaat in de twintigste eeuw ging
gepaard met bureaucratisering en professionalisering. Allerlei ‘deskundigen’
werden aangetrokken om gegevens te verzamelen, onderzoek te doen en beleid te
formuleren en te evalueren. Vandaag vinden heel wat afgestudeerden van de
universiteiten en hogescholen een broodwinning als beleidsmedewerker,
onderzoeker of consultant van de overheid.

Ministeriële departementen, overheidsdiensten
en ook internationale bureaucratieën staan onder druk om hun werking en
budgetten rechtvaardigen. Zij moeten dus aantonen dat zij zich met ‘belangrijke
problemen’ bezighouden en ook dat zij bereid en bekwaam zijn daar wat aan te
doen. Datzelfde geldt voor politici en politieke partijen. Het uitgangspunt van
de verzorgingsstaat is immers dat ‘de mensen zelf’ niet bekwaam of in staat
zijn hun leven — dat ‘toch zo ingewikkeld geworden is’ — op een behoorlijke
manier te leiden. De implicatie is dat zij hun leven beter door deskundigen
kunnen laten leiden. Aan de politici komt dan de taak toe de relevante
deskundigen te selecteren. Zij bepalen ook welk onderzoek een ‘politiek gevolg’
krijgt of genegeerd wordt, en hoeveel belastinggeld voor een en ander nodig of
beschikbaar is.

Uiteraard laten de politici zich voor die
taken graag bijstaan door deskundigen — vaak dezelfde lieden die in aanmerking
komen om het te subsidiëren onderzoek uit te voeren. Zo ontstaat er collusie
van politieke en academische autoriteiten en elites. Als gevolg daarvan gaan in
een aantal ‘gevoelige kwesties’ (zure regen, klimaatopwarming, BSE, aids en
dergelijke^[3]) honderden miljoenen euro naar het onderzoek van een enkele hypothese.
Alternatieve hypotheses blijven in de kou staan. Hoogstens enkele onderzoekers
buiten de grote (dat wil zeggen massaal gesubsidieerde) instituten houden zich
ermee bezig. Als zij $10.000 subsidies ontvangen van bepaalde industriële
sectoren dan wordt hun dat zwaar aangerekend. Zij zijn dan per populaire
definitie ‘niet onafhankelijk’. Tien of honderd keer hogere subsidies—of
aanstellingen in een onderzoeksinstituut of programma—van de EU, de Amerikaanse
overheid, het EPA, de WGO, Greenpeace
en andere ‘foundations’^[4] met een min of meer uitgesproken politieke agenda hebben daarentegen
blijkbaar geen effect op de onafhankelijkheid van onderzoekers. Integendeel,
althans voor de media lijken zij veeleer certificaten van ‘onafhankelijkheid’
te zijn.^[5]

Statistieken, tellingen, steekproeven en
bewerkingen uitgevoerd op de resultaten daarvan zijn nu belangrijke
instrumenten van politieke propaganda en beleid. Statistisch berekende
risicowaarden worden gewikt en gewogen, aanvaardbaar of te hoog te bevonden.
Wij vinden ze terug in allerlei wettelijke en administratieve normen en
maatstaven: veiligheidsnormen, concentratienormen, doseringsnormen,
snelheidsnormen, en dergelijke. Net boven of net onder de norm — het kan verstrekkende
financiële en andere gevolgen hebben. Producten, diensten, beroepen en
activiteiten worden gereglementeerd, aan belastingen onderworpen of zelfs
verboden op grond van ‘statistische bewijzen’ van hun schadelijke effecten op
veiligheid, gezondheid, milieu en dergelijke.

De leek kan gemakkelijk de indruk krijgen dat
het maatschappijmanagement van de moderne beleidsstaat met alle mogelijke
waarborgen van de wetenschappelijke methode omkleed is. Er zijn echter
kritische stemmen. Veel van de in het publieke leven gebruikte of geciteerde
statistieken zijn controversieel of worden door specialisten zelfs als
ondeugdelijk beschouwd. Beschuldigingen van incompetent of bedrieglijk gebruik
en misbruik van statistieken zijn niet van de lucht.^[6] De term ‘junk science’ (rommelwetenschap) is nu al goed ingeburgerd in
discussies over voedselhygiëne, gezondheids- en milieubeleid.^[7] In grote rechtszaken, waar reusachtige schadevergoedingen op het spel
staan, wordt gegoocheld met statistieken van verdacht allooi. Velen — vooral de
zogeheten ‘deep pockets’ (bedrijven, ziekenhuizen, gemeentelijke overheden, hun
verzekeraars) — geven er de voorkeur aan zich naar grondloze normen te schikken
of geschillen in der minne te regelen. Dat is goedkoper dan een aanslepend
geding met onzekere afloop te beginnen en ondertussen in de pers te schande
gemaakt te worden.

Alleen al dreigen met een geding wordt zo voor
advocaten, forensische deskundigen en adviseurs een lucratieve bezigheid. Op
dezelfde wijze kunnen politici en ambtenaren druk uitoefenen op bedrijven,
sectoren of bevolkingsgroepen door te dreigen met reguleringen en normeringen
waarvan zijzelf weten dat zij geen serieuze basis hebben. Dergelijke gevallen
van ‘legale afpersing’ zijn verre van zeldzaam, zowel op het nationale als het
internationale vlak.^[8]

Toch laten leken—en veel mensen zijn
leken als het op statistieken aankomt—zich blijkbaar vlot imponeren door
cijfers, percentages, risicometingen en dergelijke. Politici en ook juristen
zijn geen uitzondering op die regel. Dat is geen goede zaak. Zij hebben
geregeld te maken met wetten, beleid en argumentaties waarin statistische
gegevens, theorieën en conclusies prominent aanwezig zijn. Als zij niet bekwaam
zijn goed en slecht statistisch onderzoek, gepast gebruik en misbruik van
statistiek te onderscheiden dan lopen zij het risico onzin te verkondigen en
veel kwaad te doen. Dat er gevallen zijn waarin er met de toepassing van statistische
methoden prachtige en nuttige resultaten worden geboekt, is onbetwistbaar. Er
zijn echter ook andere gevallen. Van de vooroordelen en de statistische incompetentie
van nationale, supranationale of internationale overheids- en beleid­adviserende
instanties kunnen duizenden tot miljoenen mensen het fysieke of financiële
slachtoffer zijn.

Dat risico is reëel. In 1991 werd onder druk
en invloed van Greenpeace en het Environmental Protection Agency (EPA,
een Amerikaanse overheidsdienst) het chloreren van drinkwater in Peru
stopgezet.^[9] De maatregel leidde vrijwel onmiddellijk tot een cholera-epidemie. Ten
minste achthonderdduizend mensen werden ziek, waarvan ten minste een
zesduizendtal met dodelijke afloop. De maatregel was gebaseerd op de toen door Greenpeace gepropageerde idée fixe dat chloor in alle
concentraties en doseringen giftig is en op de classificatie door het EPA van
chloor als een risicofactor voor kanker. Chloor is inderdaad een bijtende stof
die bijna alle metalen kan aantasten. Het is ook een component in honderden
voor plant en dier vitale stoffen, onder meer zout en de menselijke
verteringssappen. Voor het ontsmetten van drinkwater is het buitengewoon goed
geschikt.

Onoordeelkundig gebruik van statistieken heeft
lange tijd officiële en andere instanties ertoe aangezet jonge ouders aan te
bevelen baby’s op hun buik te laten slapen. Toen de statistieken een
opmerkelijke toename van wiegendood suggereerden werd dat advies stopgezet.
Economisch en monetair beleid, vaak gebaseerd op een combinatie van
achterhaalde statistieken uit diverse bronnen, heeft in de twintigste eeuw meer
dan eens miljoenen mensen in zware financiële problemen gebracht.

Ofschoon dergelijke episodes vragen rond
verantwoordelijkheid en aansprakelijkheid oproepen, blijken maatschappelijke
instellingen (ook de rechtbanken) daar weinig oor voor te hebben. Beleid en
wetgeving zijn officieel erkende methoden om straffeloos ‘effecten te
externaliseren’. De slachtoffers die zij maken hebben gewoon pech.

Het is voor academisch geschoolde
juristen — die toch aanspraak maken op
een ‘wetenschappelijke vorming’ — van belang enig inzicht te hebben in het
gebruik van statistische methoden. In deze tekst kunnen wij uiteraard geen
volledige instructie in de wetenschap van de statistiek en haar toepassingen
geven. Dat zou ons al snel tot de studie van de wiskundige
waarschijnlijkheidsleer brengen en die ligt ver buiten het bestek van de
juridische opleiding. Wij beperken ons tot een discussie van enkele elementaire
begrippen en problemen.

Dingen en cijfers

Statistiek is een tak van de wiskunde en
als zodanig een volwaardige wetenschappelijke discipline. Zij houdt zich bezig
met de studie van de formele relaties tussen verzamelingen van abstracte
objecten. De toepassing van de statistische methoden op de werkelijkheid is
evenwel geen sinecure. Reële objecten zijn geen abstracte objecten. Neem een zo
alledaags object als een huis. Hoeveel huizen zijn er in een bepaald dorp?
Verschillende waarnemers zullen een verschillend aantal huizen tellen,
bijvoorbeeld omdat zij ‘randgevallen’ (hutten, stacaravans, bungalows, appartementsgebouwen,
als woning gebruikte opslagplaatsen, vervallen gebouwen, en dergelijke)
verschillend beoordelen.

Als alleen al het tellen van dingen problemen
oplevert, dan is ook het verwerken van die gegevens problematisch. Als men
gegevens heeft over het aantal huizen in elke Nederlandse provincie, dan lijkt
het voor de hand te liggen dat men door eenvoudige optelling kan berekenen
hoeveel huizen er in Nederland zijn. Dat is echter niet het geval. De
provinciale huizentellers hebben immers niet noodzakelijk allen dezelfde
criteria gehanteerd. Misschien zijn er gebouwen, die al dan niet als huis
zouden geteld zijn, helemaal buiten het gezichtsveld van de tellers gebleven.
Niet alle tellers zijn even zorgvuldig en gewetensvol. De gegevens zijn dus
hoogstens min of meer volledig en betrouwbaar.

De problemen nemen nog toe als men in de
plaats van huizen te tellen indirecte bronnen (belastingaangiften bijvoorbeeld
of orderboekjes van loodgieters en dakwerkers) gebruikt om het aantal huizen
vast te stellen. Nog vele malen onbetrouwbaarder zijn niet of moeilijk
controleerbare bronnen, zoals herinneringen en rapportages achteraf.

Wat voor huizen geldt, geldt nog veel meer
voor ‘dingen’ als ziektes, aandoeningen, gemoedstoestanden, koffiedrinkers,
rokers, kansarmen, wiskundig begaafden en andere categorieën van zaken die
moeilijk te identificeren zijn of de relevante eigenschap in meerdere of
mindere mate hebben. Toch zijn dergelijke ‘dingen’ vaak voorwerp van
statistisch onderzoek.

Waar het om gaat is dit: wij kunnen geen
statistische methoden toepassen op reële objecten maar alleen op abstracte
objecten zoals resultaten van tellingen, metingen of schattingen. Kortom, wij
hebben getallen nodig. Voor het gebruik van de statistische methoden maakt het
niets uit of wij met zestig huizen of zestig aalwormen te maken hebben; alleen
het getal 60 telt. Hoe wij aan dat getal komen is geen probleem van de
wiskundige statistiek. Het is uiteraard wel een probleem voor wie statistische
methoden wil gebruiken om iets over huizen of over aalwormen te weten te komen.
Toegepast statistisch onderzoek kan niet beter zijn dan de kwaliteit van de
gegevens waar het op gebaseerd is. Hier geldt het GIGO-principe: ‘Garbage in,
Garbage out’.

Zodra wij over de getallen beschikken, kunnen
wij daar allerlei wiskundige bewerkingen op uitvoeren: optellen, aftrekken,
vermenigvuldigen, delen en ook meer ingewikkelde operaties. Dat geeft al snel
eigenaardige resultaten. Zo kunnen wij bijvoorbeeld tot de vaststelling komen
dat er vorige maand 3,3 verkeersdoden per dag vielen of dat er per Nederlands
gezin 1,92 kinderen zijn. Wij kunnen ons wel gemakkelijk een voorstelling maken
van 3 of 4 verkeerdoden en van 1 of 2 kinderen—maar van 3,3 doden of 1,92
kinderen? Bewerkingen uitgevoerd op tellingen van bestaande dingen leveren niet
noodzakelijk een uitkomst op die zelf beantwoordt aan een telling van bestaande
dingen.

Het is alleen zinvol over gemiddelden te
spreken als er dingen zijn die boven het gemiddelde liggen en andere die daar
onder liggen. Er is geen relatieve armoede zonder relatieve rijkdom. Er zijn
kansrijken omdat er kansarmen zijn. Het is zinloos te willen ‘dat iedereen ten
minste het gemiddelde haalt’ (tenzij men ook wil dat niemand meer dan het
gemiddelde haalt).

Mensen zijn niet onsterfelijk. Sommige
doodsoorzaken komen meer voor dan andere. Vooruitgang in de strijd tegen de ene
of de andere ziekte of een betere bescherming tegen een bepaald soort
ongevallen veranderen daar niets aan. Er is altijd wel ‘een belangrijkste
doodsoorzaak’. Wij kunnen niet de kans verminderen dat iemand aan ziekte Z
overlijdt zonder de kans te vergroten dat hij door een andere oorzaak sterft.
Dat wil zeggen: elke succesrijke behandeling voor Z is een positieve
risicofactor (zie hieronder) voor andere overlijdensoorzaken. Stel dat er nu in
vergelijking met dertig jaar geleden jaarlijks relatief meer mensen door ziekten
of aandoeningen sterven. Dat is niet per se een reden tot ongerustheid. Misschien
zijn er nu relatief minder dodelijke ongevallen.

Correlaties

Wanneer wij over twee verzamelingen van
cijfers beschikken, dan kunnen wij die vergelijken en de maat van hun
overeenkomst of verschil aangeven. Dat doen wij met behulp van een
correlatiecoëfficiënt (CC), waarvan de waarde maximaal +1 en minimaal –1 is.
Hoe wij die berekenen is hier niet van belang. De volgende allereenvoudigste
voorbeelden maken duidelijk wat zo’n coëfficiënt eigenlijk meet. We vergelijken
twee verzamelingen van getallen X en Y, die elk vier getallen tellen.

Y is perfect gelijk aan X. Het is dus
niet verwonderlijk dat de CC maximaal is.

Y is zeker niet gelijk aan X;
integendeel, Y is als het ware een omgekeerd beeld van X. Met een ‘1’ in X komt
een ‘0’ in Y overeen en met een ‘0’ een ‘1’. Kortom, er zit een systeem in de
verschillen. De CC-waarde is in dit geval minimaal, namelijk –1.

In dit geval is er geen overeenkomst,
zelfs niet als spiegelbeeld. Een ‘1’ in X correspondeert nu eens met een ‘1’ in
Y dan weer met een ‘0’; en hetzelfde geldt voor een ‘0’ in X. De CC bedraagt 0,
dat wil zeggen dat er geen overeenkomst of correlatie tussen de twee
verzamelingen is.

Nu moeten wij niet overhaast concluderen dat
CC=1 betekent dat de twee verzamelingen identiek zijn. Beschouw dit voorbeeld:

Hoewel X en Y niet identiek zijn is er
toch een maximale correlatie tussen de twee (CC=1). Met een ‘1’ in X
correspondeert onveranderlijk een ‘12’ in Y; en met een ‘0’ in X komt
onveranderlijk een ‘5’ in Y overeen. Correlatie is dus wat anders dan identiteit.

Ook hier is er een ‘perfecte’ correlatie
tussen de twee reeksen maar met dit verschil dat met een hogere waarde in de eerste reeks (1 is groter dan 0) een lagere waarde (12 is kleiner dan 25) in
de tweede reeks correspondeert.

(Exacter CC = 0,7953502167) Hier is de
correlatie van de twee verzamelingen niet perfect, maar toch vrij hoog. Met een
hogere waarde (1) in X correspondeert
een min of meer hoge waarde (12 tot 29) in Y. Met een lagere waarde (0) in de eerste reeks correspondeert een min of meer
lage waarde (3 of 6) in de tweede reeks.

(Exacter CC = 0,1959828375) Op het eerste
gezicht is er hier geen systeem van overeenkomst te herkennen. Met de CC=0,2
zitten wij inderdaad dicht in de buurt van CC=0, wat staat voor ‘er is helemaal
geen correlatie’.

Bekijken wij ten slotte nog een setje van twee
getallenverzamelingen