Nu de juryaccreditatie zal worden besproken op de eerstvolgende Bondsraad, aankomende vrijdag, en begin dit jaar door Reinier de Adelhart Toorop een pleidooi voor jurering zonder overleg besproken is in het verenigingsblad van ASDV Bonaparte, is de manier waarop debatten worden gejureerd weer een hot topic. Daarom presenteert SevenTwenty in twee delen een uitgebreide analyse van huidig Nederlands Kampioen Daniël Springer over jureren. Vandaag verschijnt een analyse over juryoverleg op deze site, en donderdag voltooien we dit artikel met het thema ‘reputatiejurering’.
Over het functioneren van jury’s
Vrijwel geen enkel onderwerp heeft zoveel aandacht getrokken in discussies over de debatsport als hoe om te gaan met de jurering van debatten. Amsterdammer Reinier de Adelhart Toorop (verder: Reinier) schreef enige tijd geleden een uitstekend stuk hierover in het maandblad van zijn vereniging. De vraag die hij vooral wenste te behandelen was: welk jureringssyteem zorgt voor de “beste” uitslagen.
De “beste uitslag”
Om maar te beginnen met een wellicht controversieel onderdeel uit het stuk van Reinier: bestaat er zoiets als “de juiste uitslag”? Nee, zegt Reinier, uiteindelijk is het jureren van een debat vaak een kwestie van persoonlijke smaak en daarmee samenhangende wegingsfactoren. Hoe belangrijk vind je in BP consistentie met de eerste helft? Is een extreem consistent filosofisch argument geweldig of praktisch onhoudbaar? Is een arrogante stijl overtuigend of hinderlijk? Allemaal vragen die per persoon zullen verschillen en die invloed hebben op de uitslag van een debat.
Ik ga dan ook zonder meer mee in Reinier’s redenering dat zeggen dat iemand “een goed jurylid is, omdat hij/zij de juiste uitslag had” vaak zal betekenen dat de spreker simpelweg op zoek is naar juryleden met gelijksoortige preferenties als hij/zij. Als we Reinier’s theorie accepteren, dan had deze persoon hooguit mogen zeggen: “zijn/haar onderbouwing van de uitslag was ondermaats”. Immers, Reinier’s stelling houdt niet in dat er geen kwalitatief verschil kan zijn tussen verschillende uitslagen, maar dat er verschillende kwalitatief gelijkwaardige uitslagen kunnen bestaan.
Wat mij betreft betekent bovenstaande niet dat er geen kwalitatief verschil kan bestaan tussen juryleden, zelfs als ze allemaal een zekere mate van expertise hebben. Als we accepteren dat parlementaire debatten (vooral) gejureerd moeten worden op inhoud, dan is een jurylid dat snel logische constructies kan ontrafelen en de onderlinge samenhang van argumenten correct en snel doorziet een goed jurylid. Tegelijkertijd hangt de validiteit van argumentatie vrijwel altijd samen met het impliciet accepteren van een aantal premissen (zoals: vrijheid is gaaf), waar ook redelijke juryleden over van mening kunnen verschillen.
We moeten daarom af van het idee dat er altijd één goede uitslag is in een debat en dat er bepaalde jurygoden/godinnen zijn die ons kunnen vertellen wat die uitslag is. Juist het meewegen van veel verschillende wegingsfactoren kan de jurering ten goede komen.
Stemmen of overleggen?
De belangrijkste vraag die behandeld moet worden als we kijken naar hoe we jury’s vormgeven om de kwalitatief best onderbouwde jurering te bereiken, is of de uitslag het aggregaat moet zijn van de individuele meningen van de juryleden (stemmen) of dat er à la juryrechtspraak een uitgebreid overleg en onderhandelingsproces aan vooraf hoort te gaan. Reiniers antwoord is helder: stemmen. Laten wij eens kijken naar de voor- en nadelen van beide vormen.
Informatie
De reden dat vaak wordt teruggegrepen naar groepsbesluitvorming is het idee dat “twee mensen meer zien dan één”. Laten we een heel simpel voorbeeld nemen om iets formeler naar deze stelling te kijken. Stel je voor dat we drie juryleden hebben. Tijdens een debat wordt een enorme hoeveelheid feiten en argumenten op je afgevuurd als jurylid, waardoor het vrijwel onmogelijk is dat je alle relevante informatie hebt meegekregen. Daarnaast kan het zijn dat jij privé informatie hebt over bijvoorbeeld de situatie in een bepaald gebied, waardoor jij argumenten beter kunt plaatsen of valideren dan andere juryleden.
Laten we dus aannemen dat elk van de drie juryleden een signaal ontvangt over wie het debat heeft gewonnen. Om zaken eenvoudig te houden nemen we aan dat de kans dat een bepaald signaal correct is 70% is. We hebben net gezien waarom het aannemelijk is dat juryleden niet allemaal hetzelfde signaal ontvangen, formeel: de correlatie tussen signalen is minder dan 1. Het is nu redelijk eenvoudig om te zien dat het combineren van de drie signalen altijd een hogere waarschijnlijkheid geeft dan 70% dat de “correcte” uitslag wordt gekozen (lees: best onderbouwde, meest logische uitslag). Zie de appendix voor formeel bewijs.
We lijken hier dus een duidelijk nadeel van Reiniers systeem te hebben ontdekt: door te stemmen zonder overleg verlies je immers de kans om als jury relevante “signalen” uit te wisselen om zo tot een kwalitatief betere jurering te komen! Hoe kan Reinier zoiets verschrikkelijks toestaan?!
Gelukkig zijn er goede redenen om te vermoeden dat het geschetste plaatje niet klopt. Zo blijkt uit onderzoek naar collectief brainstormen dat individueel ideeën genereren vele malen efficiënter is dan in groepsverband (zij bijv. Stroebe & Diehl, 1994). De verklaring daarvoor is ook relevant voor ons. Zodra je als jurylid aanneemt dat een ander jurylid écht goed oplet, dan ervaar je een verminderde persoonlijke verantwoordelijkheid om zelf zo scherp mogelijk te zijn tijdens het debat (in feite is dit free-riding). Dit zal vooral spelen bij juryleden die zichzelf als minder inschatten dan bijvoorbeeld de chair.
Een ander probleem dat optreedt in groepen is dat “unieke” informatie (dus: het deel van het signaal dat uniek is) vaak niet wordt gedeeld (Larson et al, 1998). Mogelijke verklaringen zijn sociale validering (als andere dezelfde informatie hebben moet het wel waar zijn) en de angst om negatief geëvalueerd te worden (bijvoorbeeld door een belangrijk ander jurylid). Daarnaast wordt juist in groepen informatie die ingaat tegen een initieel bereikte conclusie vaak niet meer genoemd (Frey et al., 1996). Groepsleden hechten vaak veel waarde aan een gevoel van eensgezindheid en hebben daarom de neiging informatie die tegen de groepsconclusie in gaat niet te noemen, om onenigheid te voorkomen.
In principe zou overleg er dus toe moeten leiden dat de kwaliteit van de jurering omhoog gaat. Er zijn echter bepaalde groepsprocessen die ertoe kunnen leiden dat dit voordeel wegvalt. Juist als er geen objectief criterium voor de “juiste” uitkomst is scoren groepen in onderzoeken consistent slechter dan het aggregaat van individuen (Tindale, 1993).
Het tweede en laatste deel verschijnt donderdag op SevenTwenty.
De Nederlandse Debatbond (NDB) stelt zich als doel het wedstrijddebat te bevorderen en ondersteunen in Nederland. Als nationaal overkoepelend orgaan vertegenwoordigt de NDB ongeveer 1.000 leden waarvan de meesten lid zijn van één van de debatverenigingen die Nederland rijk is.
Over de auteur