Zes stappen

1. Elementen en kenmerken bepalen

In de eerste stap wordt de totale populatie beschreven en afgebakend. Naast duidelijkheid over de elementen waaruit een populatie bestaat, speelt ook de beschouwingsperiode hierbij een rol. Een voorbeeld is alle geregistreerde incidenten in een ticketsysteem, die geclassificeerd zijn als IT-gerelateerd en die in het afgelopen jaar zijn aangemeld. Incidenten die bijvoorbeeld betrekking hebben op facilitaire zaken of die van vijf jaar geleden vallen er dan buiten. Voorwaarden zijn wel dat de registratie juist en volledig is en dat de opzet in de tijd stabiel is. Indien een procedure gedurende de beschouwingsperiode fundamenteel is herzien, dan moeten twee steekproeven worden getrokken: een voor de oude en een voor de nieuwe situatie. Als er sprake is van een diffuse situatie, kan geen steekproef worden getrokken.

Binnen een populatie kan sprake zijn van deelverzamelingen, bijvoorbeeld wijzigingsverzoeken met een lage, midden of hoge impact. Beheersingsmaatregelen kunnen afhankelijk zijn van de deelverzameling waartoe een element behoort. Zo kan een uitgebreide impactanalyse alleen verplicht zijn als de initiële impact hoog is geschat of indien er gevolgen zijn voor de informatiebeveiliging, terwijl die maatregel in andere gevallen niet van toepassing is. In voorkomende gevallen zijn bovendien meerdere niveaus in de populatie te onderscheiden. Geaccepteerde wijzigingsverzoeken kunnen in de realisatie bijvoorbeeld worden samengenomen tot een versie en in een keer worden getest en uitgerold. In die gevallen moet duidelijk zijn op welke niveaus getoetst wordt alvorens de populatie wordt afgebakend en deelverzamelingen worden onderscheiden.

Naast de elementen moeten ook de kenmerken precies gedefinieerd worden, zodanig dat een element als zijnde ’goed’ of ’fout’ kan worden gekenmerkt. Een kenmerk kan bijvoorbeeld zijn dat de impact van een wijzigingsverzoek juist moet zijn bepaald. Dat wordt in de praktijk gebracht door de ingevulde impact op het formulier te toetsen aan de criteria in de procedure wijzigingsbeheer. Een element is alleen goed als een ingevulde impact aan alle criteria voldoet en fout als dat niet zo is. Bij ieder kenmerk moet de vraag worden gesteld of de nauwkeurigheid voldoende is. In het geval van een onvervangbare beheersingsmaatregel is iedere afwijking er een teveel en is het uitvoeren van een steekproef niet zinvol.

Het verdient de voorkeur om eerst de opzet te beoordelen en het bestaan vast te stellen aan de hand van een representatief voorbeeld dat de geauditeerde zelf aanlevert. Uitsluitend wanneer de opzet en het bestaan goed zijn, heeft het trekken van een steekproef zin, ook gezien de grote tijdsinvestering die met een dergelijk onderzoek naar de werking gemoeid is. Dat laatste pleit ervoor dat de gegevens over de elementen en kenmerken direct voorhanden moeten zijn en dat in een oogopslag duidelijk is of een kenmerk van een element voldoet of niet.

2. Gegevens opvragen

De elementen worden in een of meerdere systemen vastgelegd. Voor ieder te toetsen kenmerk wordt in kaart gebracht in welk systeem de registratie plaatsvindt en op welke locatie, zoals de naam van een bepaald veld. Per systeem wordt een totale lijst van de populatie opgevraagd of aangemaakt, waarbij de uitvraag gedocumenteerd wordt. In het geval van een geautomatiseerd systeem verdient het aanbeveling om de query vast te leggen, inclusief de datum en het tijdstip waarop die is afgevuurd. Dan vindt een globale analyse plaats om een eerste beeld van de data te krijgen: hoe groot is de totale populatie, zijn alle kenmerken aanwezig, komen alle deelverzamelingen terug en zijn er mogelijk meer deelverzamelingen dan eerst onderkend?

3. Steekproefomvang vaststellen

In het meest eenvoudige en meest voorkomende geval kan de minimale steekproefomvang met een gegeven betrouwbaarheid en nauwkeurigheid als volgt worden bepaald, namelijk als uit wordt gegaan van nul gevonden fouten in de steekproef om goed te mogen keuren. De minimale steekproefomvang (n) kan met onderstaande formule worden berekend:

nauwkeurigheidⁿ ≤ (1-betrouwbaarheid)

Als de gewenste nauwkeurigheid 0,99 is en de betrouwbaarheid 0,95, dan kan proefondervindelijk worden vastgesteld dat n groter dan of gelijk moet zijn aan 300. Immers, als het werkelijk aantal fouten in de populatie inderdaad maximaal 1% is, dan bedraagt de kans dat een willekeurig element goed is minimaal 99%. Als 300 posten op die manier worden gecontroleerd, is de kans lager dan 5% dat de auditor niet zou opmerken indien het werkelijke aantal fouten in de populatie groter is dan 1%.

Lastiger wordt het als de auditor verwacht meer dan een fout in de steekproef aan te treffen. Om dan de minimale steekproefomvang te bepalen, wordt eerst de zogeheten R-factor in een tabel opgezocht. Samen met de nauwkeurigheid wordt de omvang voor de steekproef bepaald. In tabel 1 zijn de R-waarden van enkele combinaties van het verwachte aantal fouten in de steekproef en de betrouwbaarheid weergegeven.

De minimale steekproefomvang wordt berekend door de R-factor te delen door 1 minus de nauwkeurigheid. Uit tabel 1 volgt dat bij een betrouwbaarheid van 95% de R-factor bij nul fouten 3 bedraagt. Bij een nauwkeurigheid van 99% wordt de R-factor gedeeld door 0,01, oftewel vermenigvuldigd met 100, zodat de minimale steekproefomvang 300 is. N.B. Met een spreadsheetprogramma kan de R-waarde voor iedere combinatie van het verwachte aantal fouten en de gewenste betrouwbaarheid zelf worden berekend. De benodigde functie is de inverse van de cumulatieve gammaverdeling, bijvoorbeeld in LibreOffice Calc: functie GAMMAINV. Op basis van de betrouwbaarheid, het aantal verwachte fouten en de constante 1 geeft deze functie de R-factor.

4. Posten trekken

In de volgende stap worden de elementen willekeurig geselecteerd om daarvan de kenmerken vast te stellen. Bij het trekken van de posten moet zeker zijn gesteld dat iedere deelverzameling in voldoende mate terug komt. Bij voorkeur wordt daar vooraf rekening mee gehouden; er is dan sprake van een gestratificeerde steekproef. Iedere deelverzameling moet in beginsel proportioneel terugkomen in de steekproef. Stel dat 2% van de populatie tot een bepaalde deelverzameling behoort, dat dient hetzelfde percentage ook in de steekproef vertegenwoordigd te zijn. Er kan voor worden gekozen om bepaalde deelverzamelingen sterker te controleren, omdat daar een groter risico mee verbonden is, zoals de incidenten met een hoge impact. In dat geval wordt gesproken over een disproportionele gestratificeerde steekproef.

Bij een Bernoulli-experiment worden elementen teruggelegd nadat ze eenmaal zijn getrokken. In een audit willen we echter normaal gesproken niet een post dubbel controleren. In plaats van een volkomen willekeurige selectie kan beter een interval- of een celsteekproef worden uitgevoerd. In het geval van een intervalsteekproef wordt eerst de omvang van het interval bepaald door het aantal posten in de populatie (of deelverzameling) te delen door de steekproefomvang. Als de totale populatie uit 3000 elementen bestaat is en de steekproefomvang is bepaald op 300, dan is het interval 10 groot. Vervolgens wordt willekeurig een getal tussen 1 en de grootte van het interval gekozen, bijvoorbeeld het cijfer 6. De eerste getrokken post is dan de zesde. Voor de volgende wordt telkens een veelvoud van het interval erbij opgeteld, zodat posten 16, 26, 36 enzovoort worden geselecteerd. Een intervalsteekproef heeft als nadeel dat de uitkomsten mogelijk een verkeerd beeld geven als er patronen in de gegevens zitten. Om dat te ondervangen kan beter een celsteekproef worden gedaan. De populatie wordt in cellen ter grootte van een interval opgedeeld en binnen iedere cel wordt een willekeurig getal gekozen. Dan kan bijvoorbeeld de zesde post in de eerste cel worden geselecteerd en de negende in de tweede (= de negentiende post in de populatie).

De selectie geschiedt per deelverzameling met gebruikmaking van een getallengenerator, zoals die in een spreadsheetprogramma of op Internet is te vinden. Aangezien naderhand kan blijken dat een element niet onderzocht kan worden, moeten op voorhand extra elementen geselecteerd worden, bijvoorbeeld 10% bovenop het minimum. Dit kan zich voordoen indien een geselecteerde post achteraf niet van toepassing blijkt, zoals een wijzigingsverzoek dat is ingediend maar uiteindelijk niet is doorgezet.

5. Posten controleren

Nadat de posten geselecteerd zijn kan de controle daadwerkelijk beginnen. De controle kan het beste in tabelvorm worden vastgelegd met in de rijen de elementen, in de kolommen de kenmerken en in de cellen de uitspraak. De controle is ten einde als na afstemming met de geauditeerde alle cellen de waarden 'goed' of 'fout' hebben. In het geval van 'niet van toepassing' wordt de reden gedocumenteerd en aansluitend een nieuw element geselecteerd. Als aan het eind vragen onbeantwoord blijven, moet worden geconcludeerd dat er onvoldoende geschikte controle-informatie is.

Het trekken van een statistische steekproef kost veel tijd. In de praktijk worden minder elementen geselecteerd dan de minimum steekproefomvang, zoals dertig posten als een proces dagelijks of vaker wordt uitgevoerd. De redenering hierachter is dat de auditor gebruik maakt van voorkennis over de interne beheersing bij de controleklant. Indien de geauditeerde zijn risico’s goed in de greep heeft, dan verkleint dat ook het risico voor de auditor dat hij een verkeerd oordeel geeft. In dergelijke gevallen wordt de minimumsteekproefomvang gehandhaafd, maar vindt reductie plaats door een aantal posten ongezien goed te keuren. Stel dat de steekproefomvang op 300 is bepaald en slechts 30 posten worden gecontroleerd, dan wordt dus aangenomen dat de resterende 270 posten goed zullen zijn.

Een andere strategie om minder tijd aan de steekproef te besteden is om naar mogelijkheden te zoeken om het onderzoek te automatiseren. Dat kan als alle gegevens digitaal en gestructureerd vastliggen. Controles kunnen geautomatiseerd worden door in een spreadsheet de inhoud van cellen met elkaar te vergelijken en vast te stellen dat ze verschillen om het vier-ogen-principe vast te stellen of door de inhoud van een cel te vergelijken tegen een stamgegeven, bijvoorbeeld de namen van functionarissen die mogen goedkeuren. Indien de controle helemaal geautomatiseerd kan worden, is zelfs een integrale controle mogelijk.

6. Oordeel vormen

Per element wordt bepaald of alle kenmerken de waarde 'goed' hebben, in welk geval geconcludeerd wordt dat er geen afwijkingen zijn. Als er een kenmerk de waarde 'fout' heeft, dan is sprake van een afwijking. Voor de hele steekproef wordt het aantal afwijkingen geteld en vergeleken met het verwachte aantal fouten in de steekproef. Als het werkelijke aantal afwijkingen groter is dan de verwachting, luidt het oordeel over de steekproef na hoor en wederhoor in principe afkeurend. Bij een disproportionele gestratificeerde steekproef moet bij een afkeurend oordeel wel een nadere analyse plaatsvinden, omdat niet zonder meer kan worden gesteld dat de hele populatie meer fouten bevat dan is toegestaan. Een mogelijke oplossing is om het afkeurende oordeel te beperken tot bepaalde deelverzamelingen en om vast te stellen wat nu precies het risico is. Indien het een assurance-opdracht betreft, kan de geauditeerde in de gelegenheid worden gesteld om de afwijkingen te corrigeren en een nieuwe steekproef uit te voeren, opdat een goedkeurend oordeel wel mogelijk is. Ook bij een interne audit waarin een oordeel over de interne beheersing wordt gegeven bestaat deze optie. Het is dan wel zaak om hier in het rapport melding van te maken: er zijn meer afwijkingen aangetroffen dan de norm, maar herstelacties zijn in gang gezet. Het oordeel over de steekproef moet in samenhang worden gezien met dat over de andere auditwerkzaamheden, zoals over opzet en bestaan.

Indien tijdens de uitvoering van de steekproef blijkt dat het aantal fouten de verwachting overstijgt, doet zich de vraag voor of doorgaan zin heeft. Overleg met de opdrachtgever en de geauditeerde is dan nodig. Er zijn twee mogelijkheden: (1) de steekproef wordt voortijdig afgebroken met een afkeurend oordeel of (2) de steekproef wordt voortgezet om de omvang van de afwijkingen te kunnen schatten en de mogelijke oorzaken te analyseren. De laatste mogelijkheid heeft de voorkeur, hoewel met de eerste een besparing in tijd en geld kan worden behaald. Bij de analyse van de mogelijke oorzaken gaat het om de vraag of de afwijkingen zich voordoen in bepaalde elementen (rijen) of bepaalde kenmerken (kolommen). Het zou bijvoorbeeld kunnen dat een afwijking op een bepaalde afdeling of in een periode is terug te voeren (elementen) of dat een zekere beheersingsmaatregel niet heeft gewerkt en de andere wel (kenmerken). Het kan ook betekenen dat er hiaten in de opzet zijn.