MOA: indringende vragen rol Kaski
Ombudsman Lex Olivier van de Markt Onderzoek Associatie (MOA) heeft ‘indringende vragen’ over de rol van het Kaski in het evaluatieonderzoek van de BUN als zendende instantie voor de geestelijke zorg aan gedetineerde boeddhisten.
Het gaat daarbij om de toetsingscriteria, meting, expertinterviews en vragenlijst voor BUN-leden.
Op verzoek van • open boeddhisme • boog Olivier zich over enkele feitelijke vaststellingen over de evaluatie die het Kaski momenteel uitvoert.
Expertisecentrum
Het Kaski omschrijft zichzelf als non-profit expertisecentrum voor vragen over religie en samenleving.
Het verricht zowel kwalitatief (focusgroepen en evaluatieonderzoek) als kwantitatief onderzoek (enquêtes en prognoses).
Behalve onderzoek biedt het Kaski beleidsadvisering en ondersteuning aan.
Het Kaski is onderdeel van de Radboud Universiteit Nijmegen (faculteit der filosofie, theologie en religiewetenschappen) en is lid van de brancheorganisatie Vereniging voor Beleidsonderzoek (VBO).
Gedragscode
VBO-leden zijn verplicht de Gedragscode voor Onderzoek en Statistiek te volgen. Zij werken volgens wetenschappelijke standaarden en zorgen voor doorlopende professionalisering van de onderzoekers.
Deze gedragscode is met MOA ontwikkeld, en heeft vooral betrekking op de omgang met persoonsgegevens.
Ombudsman
MOA stelt zich tot taak de kwaliteit van het marktonderzoek en de daarbij betrokken personen, bedrijven en instellingen te helpen waarborgen.
Naast een Raad van Toezicht en Geschillencommissie wees de MOA daartoe een ombudsman aan: Lex Olivier.
Olivier houdt zich bezig met klachten en geschillen tegen personen, bedrijven en instellingen die geen MOA-lid zijn.
Hij behandelt klachten over de kwaliteit van uitgevoerd onderzoek én over de juistheid van de interpretatie van onderzoeksresultaten.
Diederik Stapel
In november 2011 ging Olivier in op de wetenschappelijke controverse rondom sociaal psycholoog Diederik Stapel (Universiteit Tilburg).
Hij besteedde daarbij ook aandacht aan de rol van media.
Eén van de lessen die de pers uit de kwestie te trekken heeft, is ‘dat het blindelings publiceren van sexy onderzoeksresultaten niet verstandig is’.
Vijf vragen
Olivier vindt daarom dat in een persbericht over onderzoeksresultaten verplicht antwoord moet worden gegeven op vijf vragen.
Wie zijn ondervraagd? Wanneer en hoe heeft de dataverzameling plaats gevonden? Hoe groot is de netto steekproefomvang? Wie is de opdrachtgever of belanghebbende?
Daarnaast doen journalisten er goed aan hun publiek (online) naar het volledige rapport te verwijzen.
Betrouwbaarheid
Het antwoord op deze vragen helpt journalisten zich een oordeel te vormen over de betrouwbaarheid van het persbericht.
‘Een misleidende invulling van de vragen is daarnaast gevaarlijk omdat zich dit in een later stadium tegen de persoon of instelling, die het persbericht heeft opgesteld, kan keren’, aldus Olivier.
Evaluatie
Ombudsman Lex Olivier is door • open boeddhisme • gevraagd zich te verdiepen in enkele feitelijke vaststellingen over het Kaski.
Het Nijmeegse bureau onderzoekt momenteel voor het ministerie van Justitie en Veiligheid het functioneren van de BUN als zendende instantie voor de geestelijke zorg aan gedetineerde boeddhisten.
Op basis van de bevindingen van het Kaski bepaalt demissionair staatssecretaris Fred Teeven (Justitie) of de tijdelijke erkenning van de BUN al dan niet voor onbepaalde tijd wordt verlengd.
Anoniem
• open boeddhisme • gaf de vaststellingen eerst als anonieme, geobjectiveerde casus weer.
Vervolgens werd in overleg met Olivier besloten het concrete geval te beschrijven. Daarbij werd aanvullende informatie verstrekt.
De ombudsman van de MOA ontving de offerte-aanvraag van de Dienst Geestelijke Verzorging (DGV), het plan van aanpak van het Kaski, de vragenlijst voor BUN-leden en de brief waarmee het Kaski hen uitstel van de beantwoording verleende.
Agenderende rol
Volgens Olivier is onvoldoende aanleiding om met succes een formele klacht bij de ombudsman van de MOA te deponeren.
De agenderende rol van de ombudsman geeft hem wel aanleiding tot het formuleren van een aantal vragen.
Olivier raadt • open boeddhisme • tevens aan Kaski enkele ‘indringende vragen’ te stellen.
Beleidsonderzoek
Van marktonderzoek is hier geen sprake, oordeelt Olivier.
In haar offerteaanvraag spreekt de DGV over een evaluatieonderzoek.
Dat type onderzoek valt onder het begrip ‘beleidsonderzoek’.
Vaag
Olivier vindt de briefing van de DGV aan het Kaski ‘vaag’, en het plan van aanpak van het Kaski ‘dus ook’.
Om die reden oppert hij vragen over de toetsingscriteria en de samenstelling van de lijst met geïnterviewden.
‘Als de toetsingscriteria onduidelijk zijn, hoe denkt het Kaski dan tot een objectieve toetsing te komen op basis van onderzoeksresultaten’, vraagt hij zich af.
Meting, interviews en vragenlijst
Wat de ‘indirecte meting’ betreft merkt hij op: ‘Boeddhistisch justiabelen zijn volledig buiten het onderzoek gelaten. Hoe wil het Kaski dan komen tot een verantwoorde beoordeling van de BUN als zendende instantie onder deze boeddhistisch justiabelen?’
Olivier keek ook naar de expertinterviews die het Kaski tijdens het onderzoek houdt.
‘Wie heeft deze lijst samengesteld en hoe is de objectiviteit van de lijst gewaarborgd? Hoe is zeker gesteld dat de lijst een breed draagvlak had binnen de leden van de BUN?’
Olivier meent verder dat het Kaski een rol speelt in het ontstaan van de situatie die ertoe leidde dat de leden vóórafgaand aan het invullen van de vragenlijst duidelijk kon worden gemaakt hoe belangrijk hun antwoorden zijn voor de toekomst van de BUN als zendende instantie.
De vragenlijst is, naast desk research en interviews, een van de pijlers waarop het Kaski-onderzoek rust. Beantwoording is direct relevant voor de evaluatie-uitkomst.
Fred Teeven
Oordeelt demissionair staatsecretaris Teeven negatief over de BUN als zendende instantie, dan zal de dienst Boeddhistische Geestelijke Verzorging binnen de Dienst Justitiële Inrichtingen (DJI) ophouden te bestaan.
Boeddhistische geestelijke verzorgers komen dan niet langer in aanmerking voor een aanstelling als ambtenaar.
Ook vervalt daarmee de noodzaak voor de ambtsopleiding boeddhisme aan de Vrije Universiteit Amsterdam.
Uitstel
Het Kaski verleende de leden op verzoek van het BUN-bestuur en met medeweten en goedvinden van Justitie uitstel tot ná de ledenvergadering van 9 juni 2012.
‘Hoe verwacht Kaski dan te garanderen dat respondenten komen tot eerlijke en juiste antwoorden?’
Geen idee
Ook de mogelijkheid dat BUN-leden vragen niet beantwoorden of geen flauw idee hebben wat de vragen behelzen, moet het Nijmeegse bureau in het evaluatieonderzoek meenemen.
‘De regels van goed onderzoek schrijven voor dat het aangeven van het feit dat men de vraag niet kan beantwoorden, moet worden meegenomen in de analyse van de onderzoeksresultaten’, aldus Olivier.
Ton Bernts van het Kaski laat weten dat het Nijmeegse bureau zich beraadt op een reactie.
Geen verschil
Voor gedetineerde boeddhisten hoeft een negatieve uitkomst van de evaluatie geen verschil te maken.
Zij kunnen terugvallen op de sinds 20 april 2007 geldende ‘Regeling geestelijke verzorging hindoes, moslims en boeddhisten’, de zogeheten Albayrak-route.
Lees ook
> Actueel: Kaski stelt eindoordeel uit
> Reconstructie: BUN-bestuur verzweeg cruciale feiten
> Tijdlijn: Justitie leidend in verzuiling boeddhisme
> Actueel: Kaski-onderzoek zwarte doos
> Vereniging voor Beleidsonderzoek (VBO)
> MOA: Gedragscode voor onderzoek en statistiek
> MOA: Ombudsman
> Lex Olivier: ‘Wat kunnen we leren van Diederik Stapel?’
Kijk ook
Geef een reactie