Nu de juryaccreditatie zal worden besproken op de eerstvolgende Bondsraad, aankomende vrijdag, en begin dit jaar door Reinier de Adelhart Toorop een pleidooi voor jurering zonder overleg besproken is in het verenigingsblad van ASDV Bonaparte, is de manier waarop debatten worden gejureerd weer een hot topic. Daarom presenteert SevenTwenty in twee delen een uitgebreide analyse van huidig Nederlands Kampioen Daniël Springer over jureren. Afgelopen dinsdag besprak hij de vraag hoe we om moeten gaan met informatiedeling in juryoverleg. Vandaag kijken we verder naar de invloed van reputatie.
Reputatie
Ik noemde eerder al even de de angst om negatief geëvalueerd te worden toen ik het had over het delen van unieke informatie. Ik denk dat “reputatie” als meer generiek punt een belangrijk element is bij de jurering van debatten en ik wil er dan ook apart op ingaan.
Tot nu toe heb ik grotendeels aangenomen dat juryleden een eenmalige interactie hebben met als gemeenschappelijke doelstelling: het vinden van de kwalitatief beste uitslag. Het is echter niet onwaarschijnlijk dat juryleden naast collectieve doelen ook nog individuele belangen hebben. Zo kan een jurylid graag worden gezien als competent (reputatie) en graag een breakronde willen jureren of worden gevraagd voor het CA team van een volgend toernooi.
De eerste vraag die we moeten beantwoorden is: wat bepaalt mijn reputatie als jurylid? Hierover kunnen de meningen verschillen, maar mijn gevoel is dat het vooral een kwestie is van bekend jurylid A die lobbyt voor jou als “breaking judge” en jou uitnodigt als hij/zij CA is van een toernooi. Degene die je als reputatie-gevoelig jurylid dus te vriend wil houden zijn daarom vaak de bekendere juryleden met wie je samen jureert.
De tweede vraag is: wat doen reputatieoverwegingen met mijn gedrag als jurylid? Als ik een signaal heb dat team B moet winnen, en mijn chair heeft een signaal dat team A moet winnen, wat doe ik dan? Zonder reputatie overwegingen zou een rationele actor zeggen: ik zeg gewoon dat ik signaal B heb. Immers, door beide signalen te combineren krijgen we meer precieze informatie over de uitslag. Laten we nu aannemen dat de chair denkt dat zijn/haar signaal een 80% kans heeft om goed te zijn. Als ik op zo’n moment signaal B noem, dan is de kans dus 80% dat ik incompetent ben (eigenlijk hangt dit af van mijn initiële reputatie, maar voor mijn punt is dat verder niet relevant).
Ik kan mijn reputatie dus altijd vergroten door mee te gaan met het signaal dat mijn chair noemt! Dat is nogal een sterke prikkel om mee te gaan met andere juryleden. Helemaal als we in ogenschouw nemen dat mijn chair mijn signaal waarschijnlijk toch zou hebben genegeerd (hij/zij is immers zeer zeker van zijn/haar zaak). Voor de geïnteresseerden: bovenstaande is een aanpassing van Morris (2001).
Om dit concreter te maken: ik jureerde een paar weken geleden de ESL finale van de Paris IV. Het was voor mij de eerste keer dat ik de breakronde van een internationale competitie jureerde. Met mij in de jury zaten alleen maar grote namen uit de internationale debatwereld. Na afloop van het debat riep de chair direct “team A wint”. Een tweede topjurylid viel direct in dat hij het daarmee eens was. Toevallig was dit een debat waar het ook wel écht heel duidelijk was, maar laten we voor de grap aannemen dat dit niet het geval was. Wat zou het voor mijn reputatie als jurylid hebben gedaan als ik tegenover vier mastodonten was gaan staan en had gezegd: “ik had team B”? Zouden zij aannemen dat ik unieke informatie probeerde te delen, of zouden zij zich afvragen waarom ik eigenlijk in de jury zat?
Conclusie
Ik heb twee belangrijke punten (informatie en reputatie) behandeld die uitsluitsel zouden moeten geven over de vraag of stemmen of overleggen beter is. In potentie is overleggen beter, omdat er meer informatie op tafel kan komen en omdat het voorkomt dat juryleden met een hogere kwaliteit signaal worden overstemd door mensen met een lage kwaliteit signaal. Echter, ik heb aan de hand van zowel rationele als irrationele tendensen laten zien waarom we kunnen verwachten dat overleg vaak leidt tot verlies van waardevolle informatie en juist voor slechtere uitslagen kan zorgen. De vraag is nu: wat weegt zwaarder?
Het kan beter
Mijn scriptiebegeleider antwoordt op de vraag “is A beter dan B” altijd hetzelfde: it depends. Ook hier lijkt me dat het geval. Reinier gaf al aan dat vooral breakrondes met AP format zich goed lenen voor stemmen. De reden hiervoor is dat alle juryleden hier een minimaal niveau hebben en dat door het AP format de afweging minder complex is dan bij BP. Dit principe is vervolgens dan ook in de praktijk gebracht bij (in elk geval) de afgelopen twee edities van het Bonapartiaans Debattoernooi.
De beperking van dit systeem werd duidelijk bij bijvoorbeeld een stelling over de Lord’s Resistance Army, waar juryleden mét bepaalde kennis voor het ene team stemden en juryleden zonder die kennis voor het andere team. Op zo’n moment was “uitwisseling van signalen” dus een goed idee geweest. Kunnen we dit probleem oplossen zonder van stemmen af te zien?
Ik denk van wel. Een mogelijke oplossing zou bijvoorbeeld zijn om de overlegtijd te beperken tot 5 minuten vlak voor het stemmen. Juryleden kunnen dan eerst hun eigen mening vormen, vervolgens nog even kennis nemen van de meest prangende signalen van andere juryleden, om vervolgens wel weer anoniem te mogen stemmen zonder de conformeringsdruk. Risico is natuurlijk wel dat als toevallig twee zwaargewichten uit het panel de 5 minuten kapen en beiden voor één bepaald team pleiten, dit voor eenzijdige informatievoorziening kan zorgen en minder ervaren juryleden onterecht aan het twijfelen kan brengen.
Een andere optie is om een aanhanger van zowel de voor- als de tegenstanders (of bij gebrek daaraan: iemand die aangewezen is als aanhanger van één partij) te vragen in 2 minuten de belangrijkste argumenten voor dat team te noemen. Op die manier ontstaat er een evenwichtig beeld en komen belangrijke signalen voor beide teams naar boven. Dit lijkt mij persoonlijk de beste optie voor die gevallen waarin stemmen een reële mogelijkheid is.
Voor het gros van de gevallen zitten we echter vast aan juryoverleg. Dat is op zich niet erg, maar er zijn een aantal dingen die we kunnen doen om ervoor te zorgen dat de nadelen minder prominent worden:
- wijs een “advocaat van de duivel” aan. Deze persoon moet tijdens het juryoverleg mordicus tegen de winnaar zijn die de rest aanwijst. Het voordeel hiervan is dat relevante informatie naar boven komt, terwijl de advocaat van de duivel zelf geen reputatieschade hoeft te vrezen (immers: het was zijn rol om tegen te zijn). Ik weet dat sommige juryleden dit automatisch al doen, maar we zouden het moeten institutionaliseren, zeker bij breakrondes.
- laat de breakkansen van een jurylid meer afhangen van feedbackformulieren dan van bemoeienis door grote namen in de debatwereld.
- de leiderschapsstijl van veel chairs, zeker in breakrondes, moet veranderen van “directive leadership” (“het is A en waag het eens tegen te zijn”) naar “supportive leadership” (“mag ik iemand vragen een case te maken voor team A en team B”).
- de initiële calls, wat nu vaak de manier is waarop een overleg wordt gevoerd, mogen de prullenbak in. Juist “anchoring” (het maken van een initiële beslissing zonder goed op de feiten in te zijn gegaan) zorgt voor een te vroeg commitment aan een bepaalde keuze en (de perceptie van) gezichtsverlies als later die keuze moet worden teruggenomen. Dit is zeker het geval als een chair direct zijn/haar initiële call bekendmaakt. Om met Sherlock Holmes te spreken: “It is a capital mistake to theorize before one has data. Insensibly one begins to twist facts to suit theories, instead of theories to suit facts.”
Ik hoop met dit artikel een verdere slinger te geven aan het jureringsdebat dat eerder al door Reinier begonnen. Jurering is één van de belangrijkste onderdelen van het debat, en goed nadenken over hoe we dat inrichten zal de debatsport kwalitatief ten goede komen én de externe validiteit van uitslagen te goede komen. Over juryrechtspraak in de VS kon Herbert Spencer nog terecht opmerken: “A jury is composed of twelve men of average ignorance.” Als debaters hebben we dat excuus helaas niet.
Referenties
Frey, D., Schultz-Hardt, S. & Stahl, D. (1996). Information seeking among individuals and groups and possible consequences for decision making in business and politics. In Witte & Davis (Eds.), Understanding group behavior: Small group processes and interpersonal relations (pp. 211-225). Mahwah: Erlbaum.
Morris, S. (2001), “Political Correctness”, The Journal of Political Economy, 109(2):231-265
Stroebe, W. & Diehl, M. (1994). Why groups are less effective than their members: On productivity loss in idea generating groups. In W. Stroebe & M. Hewstone (Eds.), European Review of Social Psychology (vol. 5. pp 271-303). London: Wiley.
Tindale, R. S. (1993). Decision errors made by individuals and groups. In N. J. Castellan Jr. (Ed.), Individual and group decision making: Current issues (pp. 109-124). Hillsdale: Lawrence Erlbaum.
De Nederlandse Debatbond (NDB) stelt zich als doel het wedstrijddebat te bevorderen en ondersteunen in Nederland. Als nationaal overkoepelend orgaan vertegenwoordigt de NDB ongeveer 1.000 leden waarvan de meesten lid zijn van één van de debatverenigingen die Nederland rijk is.
Over de auteur