Wel of geen steekproef?
Het uitvoeren van een statistische steekproef is geen sinecure en vraagt om een grote investering door de opdrachtgever. Een statistische steekproef is echter niet verplicht en er bestaan alternatieve technieken om de werking vast te stellen. In een niet-statistische steekproef of deelwaarneming zou een auditor met gebruik van voorkennis gericht posten kunnen selecteren als daar grotere risico’s aan verbonden zijn. Daar moet dan wel rekening mee worden gehouden als op basis daarvan een uitspraak over de hele populatie wordt gedaan, omdat de representativiteit van de steekproef niet gewaarborgd is. Hoewel reductie vaak wordt toegepast en niet-statistische steekproeven veelal worden uitgevoerd, moet bedacht worden dat een steekproefomvang van slechts dertig elementen ceteris paribus gepaard gaat met een betrouwbaarheid van 26% of een nauwkeurigheid van 90%. Dat betekent dat de kans dat de auditor een verkeerde conclusie trekt maar liefst 74% bedraagt of de populatie tot 10% fouten kan bevatten.
Naast steekproeven kunnen auditors ook andere technieken inzetten, zoals het leggen van verbanden tussen verschillende registraties, het vergelijken met vorige perioden of de controle tegen een plan of begroting. Dit is vergelijkbaar met cijferanalyses die accountants toepassen. In een IT-audit kan bijvoorbeeld gedacht worden aan het aantal personele mutaties volgens de personeelsafdeling en het aantal autorisatieaanvragen, waartussen een bepaald verband mag worden verwacht. Een ander voorbeeld is dat wijzigingsaanvragen in een ticketsysteem worden vastgelegd, terwijl ontwikkelaars andere systemen gebruiken om code te ontwikkelen, te testen en vrij te geven. Ook hiervoor geldt dat op totaalniveau verbanden moeten kunnen worden gelegd tussen de registraties. Binnen een registratie kan worden geanalyseerd welk type wijzigingen zich hebben voorgedaan en of een relatie kan worden gelegd met grote projecten in een organisatie. Tevens kan het aantal wijzigingen gerelateerd worden aan het aantal ontwikkelaars en worden beoordeeld of dat redelijk is en in lijn met vorige perioden. Uitzonderingen in de data kunnen worden verkend, bijvoorbeeld of het aantal incidenten over de tijd constant is of dat de wijzigingsverzoeken gelijkelijk over de uitvoerende medewerkers verdeeld zijn. In sommige gevallen is sprake van continue monitoring, zoals voor het meten van de beschikbaarheid van systemen. Het spreekt voor zich dat een steekproef dan achterwege kan blijven.
Dankwoord
Met dank aan Frank Nillesen die een eerdere versie van dit artikel heeft gelezen en van commentaar heeft voorzien.▣
Referenties
Kloosterman, H. en van Batenburg, P. (2018), Essaybundel Statistical Auditing, Publishing House Jacques de Swart.
De inhoud van dit artikel is gebaseerd op de NBA-cursus Steekproeven: Audit e fficiency met statistische steekproeven door Hein Kloosterman en Ferry Geertman en de bijbehorende essaybundel zoals hierboven genoemd.