Over het functioneren van jury’s (I: Informatie)

doorBionda Merckens

Over het functioneren van jury’s (I: Informatie)

Nu de juryaccreditatie zal worden besproken op de eerstvolgende Bondsraad, aankomende vrijdag, en begin dit jaar door Reinier de Adelhart Toorop een pleidooi voor jurering zonder overleg besproken is in het verenigingsblad van ASDV Bonaparte, is de manier waarop debatten worden gejureerd weer een hot topic. Daarom presenteert SevenTwenty in twee delen een uitgebreide analyse van huidig Nederlands Kampioen Daniël Springer over jureren. Vandaag verschijnt een analyse over juryoverleg op deze site, en donderdag voltooien we dit artikel met het thema ‘reputatiejurering’.

Over het functioneren van jury’s

Vrijwel geen enkel onderwerp heeft zoveel aandacht getrokken in discussies over de debatsport als hoe om te gaan met de jurering van debatten. Amsterdammer Reinier de Adelhart Toorop (verder: Reinier) schreef enige tijd geleden een uitstekend stuk hierover in het maandblad van zijn vereniging. De vraag die hij vooral wenste te behandelen was: welk jureringssyteem zorgt voor de “beste” uitslagen.

De “beste uitslag”

Om maar te beginnen met een wellicht controversieel onderdeel uit het stuk van Reinier: bestaat er zoiets als “de juiste uitslag”? Nee, zegt Reinier, uiteindelijk is het jureren van een debat vaak een kwestie van persoonlijke smaak en daarmee samenhangende wegingsfactoren. Hoe belangrijk vind je in BP consistentie met de eerste helft? Is een extreem consistent filosofisch argument geweldig of praktisch onhoudbaar? Is een arrogante stijl overtuigend of hinderlijk? Allemaal vragen die per persoon zullen verschillen en die invloed hebben op de uitslag van een debat.

Ik ga dan ook zonder meer mee in Reinier’s redenering dat zeggen dat iemand “een goed jurylid is, omdat hij/zij de juiste uitslag had” vaak zal betekenen dat de spreker simpelweg op zoek is naar juryleden met gelijksoortige preferenties als hij/zij. Als we Reinier’s theorie accepteren, dan had deze persoon hooguit mogen zeggen: “zijn/haar onderbouwing van de uitslag was ondermaats”. Immers, Reinier’s stelling houdt niet in dat er geen kwalitatief verschil kan zijn tussen verschillende uitslagen, maar dat er verschillende kwalitatief gelijkwaardige uitslagen kunnen bestaan.

Wat mij betreft betekent bovenstaande niet dat er geen kwalitatief verschil kan bestaan tussen juryleden, zelfs als ze allemaal een zekere mate van expertise hebben. Als we accepteren dat parlementaire debatten (vooral) gejureerd moeten worden op inhoud, dan is een jurylid dat snel logische constructies kan ontrafelen en de onderlinge samenhang van argumenten correct en snel doorziet een goed jurylid. Tegelijkertijd hangt de validiteit van argumentatie vrijwel altijd samen met het impliciet accepteren van een aantal premissen (zoals: vrijheid is gaaf), waar ook redelijke juryleden over van mening kunnen verschillen.

We moeten daarom af van het idee dat er altijd één goede uitslag is in een debat en dat er bepaalde jurygoden/godinnen zijn die ons kunnen vertellen wat die uitslag is. Juist het meewegen van veel verschillende wegingsfactoren kan de jurering ten goede komen.

Stemmen of overleggen?

De belangrijkste vraag die behandeld moet worden als we kijken naar hoe we jury’s vormgeven om de kwalitatief best onderbouwde jurering te bereiken, is of de uitslag het aggregaat moet zijn van de individuele meningen van de juryleden (stemmen) of dat er à la juryrechtspraak een uitgebreid overleg en onderhandelingsproces aan vooraf hoort te gaan. Reiniers antwoord is helder: stemmen. Laten wij eens kijken naar de voor- en nadelen van beide vormen.

Informatie

De reden dat vaak wordt teruggegrepen naar groepsbesluitvorming is het idee dat “twee mensen meer zien dan één”. Laten we een heel simpel voorbeeld nemen om iets formeler naar deze stelling te kijken. Stel je voor dat we drie juryleden hebben. Tijdens een debat wordt een enorme hoeveelheid feiten en argumenten op je afgevuurd als jurylid, waardoor het vrijwel onmogelijk is dat je alle relevante informatie hebt meegekregen. Daarnaast kan het zijn dat jij privé informatie hebt over bijvoorbeeld de situatie in een bepaald gebied, waardoor jij argumenten beter kunt plaatsen of valideren dan andere juryleden.

Laten we dus aannemen dat elk van de drie juryleden een signaal ontvangt over wie het debat heeft gewonnen. Om zaken eenvoudig te houden nemen we aan dat de kans dat een bepaald signaal correct is 70% is. We hebben net gezien waarom het aannemelijk is dat juryleden niet allemaal hetzelfde signaal ontvangen, formeel: de correlatie tussen signalen is minder dan 1. Het is nu redelijk eenvoudig om te zien dat het combineren van de drie signalen altijd een hogere waarschijnlijkheid geeft dan 70% dat de “correcte” uitslag wordt gekozen (lees: best onderbouwde, meest logische uitslag). Zie de appendix voor formeel bewijs.

We lijken hier dus een duidelijk nadeel van Reiniers systeem te hebben ontdekt: door te stemmen zonder overleg verlies je immers de kans om als jury relevante “signalen” uit te wisselen om zo tot een kwalitatief betere jurering te komen! Hoe kan Reinier zoiets verschrikkelijks toestaan?!

Gelukkig zijn er goede redenen om te vermoeden dat het geschetste plaatje niet klopt. Zo blijkt uit onderzoek naar collectief brainstormen dat individueel ideeën genereren vele malen efficiënter is dan in groepsverband (zij bijv. Stroebe & Diehl, 1994). De verklaring daarvoor is ook relevant voor ons. Zodra je als jurylid aanneemt dat een ander jurylid écht goed oplet, dan ervaar je een verminderde persoonlijke verantwoordelijkheid om zelf zo scherp mogelijk te zijn tijdens het debat (in feite is dit free-riding). Dit zal vooral spelen bij juryleden die zichzelf als minder inschatten dan bijvoorbeeld de chair.

Een ander probleem dat optreedt in groepen is dat “unieke” informatie (dus: het deel van het signaal dat uniek is) vaak niet wordt gedeeld (Larson et al, 1998). Mogelijke verklaringen zijn sociale validering (als andere dezelfde informatie hebben moet het wel waar zijn) en de angst om negatief geëvalueerd te worden (bijvoorbeeld door een belangrijk ander jurylid). Daarnaast wordt juist in groepen informatie die ingaat tegen een initieel bereikte conclusie vaak niet meer genoemd (Frey et al., 1996). Groepsleden hechten vaak veel waarde aan een gevoel van eensgezindheid en hebben daarom de neiging informatie die tegen de groepsconclusie in gaat niet te noemen, om onenigheid te voorkomen.

In principe zou overleg er dus toe moeten leiden dat de kwaliteit van de jurering omhoog gaat. Er zijn echter bepaalde groepsprocessen die ertoe kunnen leiden dat dit voordeel wegvalt. Juist als er geen objectief criterium voor de “juiste” uitkomst is scoren groepen in onderzoeken consistent slechter dan het aggregaat van individuen (Tindale, 1993).

Het tweede en laatste deel verschijnt donderdag op SevenTwenty.

Facebook Twitter Linkedin Email

Over de auteur

Bionda Merckens contributor

4 reacties tot nu toe

Danique van KoppenhagenGeplaatst op3:14 pm - mei 10, 2011

De appendix en bronnenlijst zijn in het bezit van de redactie en natuurlijk op aanvraag beschikbaar.

Eric StamGeplaatst op6:35 pm - mei 11, 2011

Kijk, dat zijn toch een paar redelijk overtuigende argumenten vóór stemmen ipv overleg, zo op het eerste gezicht. Ik wacht met spanning op deel II, maar toch alvast een paar punten van commentaar:

– Hoe representatief is onderzoek naar collectief brainstormen? Jureren lijkt me een kwalitatief heel andere activiteit dan brainstormen. De verklaring voor verminderde effectiviteit (freerider-gedrag) geldt voor zover ik het kan inschatten vooral voor voorronden, waarbij verschillen in kwaliteit en reputatie groter zijn en de panels soms heel klein. Zeker als het panel bestaat uit twee man, en de chair dus per definitie doorslaggevende stem heeft bij gebrek aan consensus. In finales mag worden aangenomen dat juryleden meer aan elkaar gewaagd zijn. Ook willen juryleden vaak bewijzen hoe goed ze zijn door op te letten en bijzonder betrokken deel te nemen aan overleg.

– Debatteren is behalve een wedstrijd ook een pedagogische activiteit. Teams zijn dus gediend bij een juryoordeel dat een dieper inzicht biedt dan: 6-3. Overleg dient dan ook vooral een ander doel; namelijk enige consistentie aanbrengen in de feedback die verschillende juryleden geven aan deelnemende teams. Aangenomen mag worden dat teams (en wellicht ook het publiek) die feedback achteraf alsnog willen. Het is dan wel een flinke beproeving om van ieder jurylid individueel een uitslag + analyse te moeten verwerken.

– Maakt individueel stemmen de samenstelling van jurypanels (meer) controversieel dan het is? Stel, er is een eigenzinnig jurylid die grossiert in scherpe observaties. Dat is interessant. Maar helaas staat diegene ook bekend om – mild gezegd – onorthoxe uitslagen. Dat is binnen het circuit bekend, want wederom mag aangenomen worden: teams willen hun feedback. Dat krijgen ze in voorrondes, dat willen ze na finales. Ook juryteams willen een ‘assesment’ hebben van de kwaliteit van een jurylid. Wederom: als ze daar geen overleg voor gebruiken, dan doen ze het wel op andere manieren. Zulke ‘assesments’ of ‘reputaties’ spelen dus altijd een rol. Op het moment dat die ‘garantie’ of het ‘risico’ op onorthodoxe uitslagen van tevoren bekend is, dan betekent het nogal wat om zo’n jurylid uberhaupt in een vijf-, zeven- of negenkoppig panel op te nemen. Zijn/haar individuele stem zou wel eens doorslaggevend kunnen zijn. Zonder overleg wordt het risico om zo’n jurylid zijn/haar gang te laten gaan, wellicht groter gevonden dan de inzichten die zijn/haar observaties bieden.

– Dat brengt me bij de laatste vraag: als je het principe van overleg loslaat, moet je dan uberhaupt niet het principe van een boven het publiek verheven jury loslaten? Waarom zou je dan uberhaupt nog proberen om een ordening, een rangschikking, een hierarchie van kwalitatief goede en slechte juryleden in stand te houden? Hoe groot moeten jurypanels dan zijn? Durven degenen die stellen dat debatteren uiteindelijk een subjectieve activiteit is, en dat er niet zoiets bestaat als een ‘correcte’ manier van debatteren, de ultieme consequentie aan dat iedereen dan maar een valide oordeel over een debat mag hebben? Wie mag er meebeslissen? De mensen in de zaal? De kijkers op YouTube? 😉

Overigens, en dit is maar een observatie hoor, heb ik wel het idee dat split-decisions weer redelijk in de mode zijn tegenwoordig. Een goede zaak. Het betekent dat men overleg niet eindeloos doorvoert, dat men erkent dat debatteren – uiteindelijk – inderdaad een subjectieve aangelegenheid is, en dat niet het meest drammerige jurylid aan het einde van de rit de finale wint. Zelf bedien ik me graag van formuleringen in jurycommentaar in de trant van: ”Andere juryleden maken hier een groot punt van, dus pas op, maar ik had er minder problemen mee” en gelukkig zie ik dat ook vaker om me heen. De veronderstelde negatieve groepsprocessen die beschreven worden in dit artikel, zijn m.i. namelijk het grootst wanneer er sprake is van een cultuur waarin men wél denkt dat debatteren een vorm van ‘rocket science’ is.

Daniël SpringerGeplaatst op9:11 pm - mei 11, 2011

Ten eerste: ik ben helemaal niet zo’n enorme voorstander van stemmen hoor, maar daarover meer in deel 2. Inhoudelijk op jouw punten:

– Over brainstormen
Je hebt gelijk dat jureren en brainstormen niet 1-op-1 te vergelijken zijn. Mijn punt was vooral dat overleg wel eens tot minder gebruik van informatie kan leiden dan wanneer iedereen individueel bepaalt wat de redenen zijn dat een bepaald team wint. Dat ging dan dus vooral om de processen. Overigens geldt free-riding inderdaad meer in voorrondes, maar bij veel toernooien worden ook goede wings in de finalejury gelaten die ongetwijfeld dezelfde perceptie zullen hebben (ik vind het vervelend om het voorbeeld te noemen, maar bijvoorbeeld de halve finale van Cicero 2010).

Overigens is free-riding niet de enige reden dat collectief brainstormen minder goed werkt. Ook processen als sociale validering (als niemand anders dit vindt dan ga ik het maar niet noemen) en behoefte aan sociale cohesie (te extreme visies zorgen voor een ongezellige sfeer) spelen mee. Ik kan je het artikel opsturen als je het interessant vindt.

– Pedagogiek
Dat is inderdaad buiten de scope van dit artikel, ik richt me puur op goede uitslagen. Ik zie wel iets in wat je zegt, maar tegelijkertijd denk ik dat zeker in breakrondes feedback van 5 juryleden niet zo’n probleem is, vooral als dat betekent dat je niet de gefilterde, op elkaar afgestemde versie krijgt, maar écht veel verschillende invalshoeken over je speech mee kunt krijgen.

– Onorthodoxe juryleden
Ik zie dit punt niet. Als we aannemen dat jurylid A nogal een duidelijk, apart idee heeft van wat een goed debat is, dan zijn er twee mogelijkheden. Ofwel door die zienswijze kiest hij voor team A, terwijl de rest allemaal team B beter vindt. In dat geval: no harm done. In jouw scenario zou het zo moeten zijn dat bijvoorbeeld 2 juryleden A en 2 juryleden B vinden, zodat dit jurylid doorslaggevend is. De vraag is ten eerste of dat erg is (blijkbaar kun je redelijkerwijs van mening verschillen over de uitslag). Ten tweede is de vraag waarom het risico groter is bij stemmen dan bij overleg? Immers, ook in dat geval kan dit jurylid uiteindelijk de stemming swingen.

Wel wijst jouw punt op een interessant aspect van stemmen, namelijk dat stemmen in een BP voor strategisch stemmen kan zorgen. Het kan dan immers zijn dat je een excentriek jurylid waarvan je weet dat hij x gaat stemmen wil dwarsbomen door niet je eigen keus als winnaar te kiezen.

– De juiste uitslag
Mijn punt is expliciet niet dat iedereen maar alles kan vinden over wat een goede speech is. Dat zou inderdaad betekenen dat Henk en Ingrid met de rode knop een winnaar zouden kunnen kiezen. Maar, gegeven een heleboel randvoorwaarden, gegeven een bepaalde kwaliteit van juryleden (in termen van kennis, analytisch vermogen, debatinzicht) zijn er veel debatten waar niet één uitslag per definitie kwalitatief beter is dan de ander. In die gevallen is het waardevol dat we ten eerste zoveel mogelijk informatie gebruiken bij het bepalen van de kwalitatief beste uitslag (als die er is) en dat verschillende redelijk opvattingen die de uitslag kunnen bepalen mee worden gewogen (als er geen/nauwelijks kwalitatief verschil is).

En inderdaad zijn split decisions een goede zaak, vooral ook de acceptatie daarvan.

Eric StamGeplaatst op12:11 am - mei 12, 2011

Die Henk van Groningen heeft er anders best kijk op, denk ik zo…;)

Maar even serieus: een grotere acceptatie van split decisions is cruciaal in deze discussie, omdat in werkelijkheid vaak geen sprake is van – ideaaltypisch – stemmen zonder enig overleg versus overleg met de dringende wens om tot consensus te komen. Juist die behoefte aan consensus versterkt groepsprocessen zoals in je artikel beschreven die het jureerproces kunnen verstoren. Wat dan rest is de inrichting van een juryoverleg. Veel chairs bieden panelleden aan om eerst even eigen aantekeningen / observaties / initiele ranking te maken voorafgaand aan overleg. Ik ben ook voor die aanpak. Volgens mij waarborg je op die manier dat zoveel mogelijk informatie (cq overwegingen, observaties) worden meegenomen in overleg. Verder dient de chair geen groot ego te hebben en primair – kuch – procesbegeleider te zijn. Om eindeloze discussies te voorkomen helpt het hanteren van een klok / stopwatch. Heeft tien minuten overleg bij panelleden uberhaupt veranderende voorkeuren opgeleverd? Verharden standpunten zich juist? Dan zijn meestal signalen om een stemming te gaan overwegen.

Reacties zijn gesloten.