Wanneer auditors de werking van een IT- of bedrijfsproces vast willen stellen, nemen ze vaak een deelwaarneming. Op Internet zijn talloze voorbeelden te vinden van tabellen die aangeven hoeveel posten minimaal beoordeeld moeten worden, afhankelijk van hoe vaak een proces in een jaar wordt uitgevoerd (zie bijvoorbeeld het Control Framework Horizontaal Toezicht Zorg, geraadpleegd op 16 maart 2022). Een deelwaarneming is geen steekproef. Omdat met een deelwaarneming doorgaans minder posten worden gecontroleerd, is de zeggingskracht stukken lager dan wat met een steekproef mogelijk is. In dit artikel wordt toegelicht hoe een statistische steekproef zou kunnen worden gebruikt om een uitspraak te doen over de werking van een proces. Ingegaan wordt op de vraag wat een steekproef precies is, uit welke stappen die bestaat en welke alternatieven er zijn.
Wat zijn steekproeven?
Bij een steekproef wordt een beperkt aantal posten gecontroleerd. Het aantal moet groot genoeg zijn om een statistisch verantwoorde uitspraak over de hele populatie te kunnen doen. In een geldsteekproef wordt die populatie gevormd door de bedragen die in de jaarrekening worden genoemd. In een postensteekproef bestaat de populatie uit het aantal keren dat zich een gebeurtenis heeft voorgedaan, bijvoorbeeld hoe vaak een proces in een periode is uitgevoerd. In dit artikel gaat het uitsluitend over de postensteekproef. Gecontroleerd wordt dan of een beheersingsmaatregel in alle onderzochte gevallen effectief is geweest, bijvoorbeeld of de impact van een wijzigingsverzoek correct is bepaald.
De populatie bestaat uit een aantal elementen waarvan de kenmerken worden bepaald. In het eerder genoemde voorbeeld zijn de elementen de verzameling wijzigingsverzoeken en is het bepalen van de impact een kenmerk. In een steekproef wordt een uitspraak gedaan of een kenmerk van een element goed of fout is en op basis hiervan statistisch getoetst of het aantal fouten in de populatie onder een vooraf vastgestelde grens ligt. Statistici spreken dan van een Bernoulli-experiment. Die uitspraak wordt met een bepaalde betrouwbaarheid gedaan. Omgekeerd aan de betrouwbaarheid is de kans dat het oordeel over de hele populatie verkeerd is. Gebruikelijk is een betrouwbaarheid van 95%. Dat betekent dat in hooguit 5% van de gevallen de auditor ten onrechte een goedkeurend oordeel geeft. Verder gaat het oordeel gepaard met een bepaalde nauwkeurigheid, oftewel de schatting van het aantal fouten in de populatie. Gebruikelijk is dat ten hoogste 1% fouten in de populatie acceptabel is. Accountants spreken in plaats van nauwkeurigheid over materialiteit.
Het uitvoeren van een steekproef is aan een aantal spelregels gebonden. Ten eerste moet duidelijk zijn welke elementen tot de populatie behoren en welke niet. Ten tweede mag geen misverstand bestaan hoe kenmerken gemeten worden en wanneer die als 'goed' worden bestempeld. Ten derde worden elementen willekeurig en onafhankelijk van de kenmerken geselecteerd om te controleren. Tot slot mag een element pas worden goedgekeurd als voldoende informatie is verzameld om te kunnen concluderen dat aan alle criteria is voldaan.