Menke plaatst kanttekeningen bij opniepeiling LC Media

Jack Menke, die samen met John Krishnadath een pionier is in het houden van opiniepeilingen, plaatst enkele kanttekeningen bij het onderzoek van LC Media/Maurice de Hond. De methodologie van de 30 maart - 4 april gehouden enquête is onduidelijk en geeft onvoldoende verantwoording van de wijze waarop de peiling is gedaan", antwoordt Menke op een vraag van Starnieuws.

De kern van de methode wordt als volgt weergegeven:
“Dertig enquêteurs hebben na verkrijgen van instructies van Maurice de Hond, uitgerust met een tablet, de vragenlijst bij de geïnterviewden thuis of in de directe omgeving, afgenomen. Hierbij is gewerkt volgens de random walk methode. In de zes gepeilde districten woont 86% van het electoraat”.
Menke zegt dat in het rapport geen verantwoording is gegeven van de volgende noodzakelijke aspecten:
- het steekproefkader dat als administratief bestand voor de kiezerspopulatie is gebruikt.
- Type kanssteekproef.
- Wijze van steekproeftrekking, dat wil zeggen de selectie van respondenten
- De kenmerken van de enquêteurs, type training, supervisie en controle in het veld.
- De non-respons (uitval van respondenten) en wijze van vervanging.
- De evaluatie van de steekproef en met name de mate waarin het aselect karakter (toevalsmechanisme) gegarandeerd is, dat wil zeggen dat elke kiezer een gelijke en bekende kans heeft om in de enquête geselecteerd te worden.
De analysemethode en resultaten zijn onduidelijk en onvolledig. Er ontbreken cijfers over de “weet niet” kiezers (zwevers) en 'stemt niet' kiezers in de tabellen.

Random walk
In de peiling van LC Media/De Hond is de random walk methode gebruikt. Degenen die deze methode gebruiken, maken met een random nummer (toevalsgetal) een selectie van een woning; daarna wordt er een persoon gekozen met behulp van een random tabel voor huishoudleden waaruit een huishoudlid wordt geselecteerd. De random walk methode is doorgaans niet ideaal omdat deze vaak niet of onvoldoende garandeert dat elke kiezer een gelijke en bekende kans heeft om geselecteerd en geënquêteerd te worden. Het toevalsmechanisme, de basis van kansststeekproeven die het mogelijk maakt conclusies te trekken over de populatie, komt dan in gevaar. De peiling van LC Media/De Hond is onduidelijk over hoe deze methode is toegepast, en welke de veldinstructies waren voor de enquêteur.

Steekproef en steekproeffouten
De ideale methode voor een betrouwbare peiling is een aselecte steekproef (op basis van toeval) te trekken uit een up-to-date bestand met kiezers. Vervolgens moeten goed getrainde en gemotiveerde enquêteurs strikt de veldinstructies volgen om respondenten te selecteren en de uitval minimaal te houden. Dit moet resulteren in afgerond enquête-onderzoek waarbij alle kiezers een gelijke en bekende kans hebben om in de enquête geselecteerd en geënquêteerd te worden.

Voor steekproeffouten, die inherent zijn aan steekproefonderzoek, kunnen statistische betrouwbaarheidsintervallen worden berekend. Dit brengt met zich mee dat voor ieder gegeven percentage een onder- en bovengrens kan worden vastgesteld waarbinnen het ‘werkelijk’ percentage zal liggen bij een gegeven waarschijnlijkheidsgraad (die vaak op 95% wordt gesteld). Zo zou bijvoorbeeld voor de 3.4% ‘stemt niet’ in een bepaalde peiling de bovengrens op ongeveer 5% en een ondergrens op 1.8% kunnen liggen. Dit betekent dat bij een waarschijnlijkheidsgraad van 95% het verwachtbaar is dat 95% van de steekproeven die we zouden kunnen trekken een interval oplevert (tussen 1.8% en 5%) waarbinnen de populatiewaarde van ‘niet stemmers’ zit.