Over het functioneren van jury’s (II: Reputatie)

doorBionda Merckens

Over het functioneren van jury’s (II: Reputatie)

Nu de juryaccreditatie zal worden besproken op de eerstvolgende Bondsraad, aankomende vrijdag, en begin dit jaar door Reinier de Adelhart Toorop een pleidooi voor jurering zonder overleg besproken is in het verenigingsblad van ASDV Bonaparte, is de manier waarop debatten worden gejureerd weer een hot topic. Daarom presenteert SevenTwenty in twee delen een uitgebreide analyse van huidig Nederlands Kampioen Daniël Springer over jureren. Afgelopen dinsdag besprak hij de vraag hoe we om moeten gaan met informatiedeling in juryoverleg. Vandaag kijken we verder naar de invloed van reputatie.

Reputatie

Ik noemde eerder al even de de angst om negatief geëvalueerd te worden toen ik het had over het delen van unieke informatie. Ik denk dat “reputatie” als meer generiek punt een belangrijk element is bij de jurering van debatten en ik wil er dan ook apart op ingaan.

Tot nu toe heb ik grotendeels aangenomen dat juryleden een eenmalige interactie hebben met als gemeenschappelijke doelstelling: het vinden van de kwalitatief beste uitslag. Het is echter niet onwaarschijnlijk dat juryleden naast collectieve doelen ook nog individuele belangen hebben. Zo kan een jurylid graag worden gezien als competent (reputatie) en graag een breakronde willen jureren of worden gevraagd voor het CA team van een volgend toernooi.

De eerste vraag die we moeten beantwoorden is: wat bepaalt mijn reputatie als jurylid? Hierover kunnen de meningen verschillen, maar mijn gevoel is dat het vooral een kwestie is van bekend jurylid A die lobbyt voor jou als “breaking judge” en jou uitnodigt als hij/zij CA is van een toernooi. Degene die je als reputatie-gevoelig jurylid dus te vriend wil houden zijn daarom vaak de bekendere juryleden met wie je samen jureert.

De tweede vraag is: wat doen reputatieoverwegingen met mijn gedrag als jurylid? Als ik een signaal heb dat team B moet winnen, en mijn chair heeft een signaal dat team A moet winnen, wat doe ik dan? Zonder reputatie overwegingen zou een rationele actor zeggen: ik zeg gewoon dat ik signaal B heb. Immers, door beide signalen te combineren krijgen we meer precieze informatie over de uitslag. Laten we nu aannemen dat de chair denkt dat zijn/haar signaal een 80% kans heeft om goed te zijn. Als ik op zo’n moment signaal B noem, dan is de kans dus 80% dat ik incompetent ben (eigenlijk hangt dit af van mijn initiële reputatie, maar voor mijn punt is dat verder niet relevant).

Ik kan mijn reputatie dus altijd vergroten door mee te gaan met het signaal dat mijn chair noemt! Dat is nogal een sterke prikkel om mee te gaan met andere juryleden. Helemaal als we in ogenschouw nemen dat mijn chair mijn signaal waarschijnlijk toch zou hebben genegeerd (hij/zij is immers zeer zeker van zijn/haar zaak). Voor de geïnteresseerden: bovenstaande is een aanpassing van Morris (2001).

Om dit concreter te maken: ik jureerde een paar weken geleden de ESL finale van de Paris IV. Het was voor mij de eerste keer dat ik de breakronde van een internationale competitie jureerde. Met mij in de jury zaten alleen maar grote namen uit de internationale debatwereld. Na afloop van het debat riep de chair direct “team A wint”. Een tweede topjurylid viel direct in dat hij het daarmee eens was. Toevallig was dit een debat waar het ook wel écht heel duidelijk was, maar laten we voor de grap aannemen dat dit niet het geval was. Wat zou het voor mijn reputatie als jurylid hebben gedaan als ik tegenover vier mastodonten was gaan staan en had gezegd: “ik had team B”? Zouden zij aannemen dat ik unieke informatie probeerde te delen, of zouden zij zich afvragen waarom ik eigenlijk in de jury zat?

Conclusie

Ik heb twee belangrijke punten (informatie en reputatie) behandeld die uitsluitsel zouden moeten geven over de vraag of stemmen of overleggen beter is. In potentie is overleggen beter, omdat er meer informatie op tafel kan komen en omdat het voorkomt dat juryleden met een hogere kwaliteit signaal  worden overstemd door mensen met een lage kwaliteit signaal. Echter, ik heb aan de hand van zowel rationele als irrationele tendensen laten zien waarom we kunnen verwachten dat overleg vaak leidt tot verlies van waardevolle informatie en juist voor slechtere uitslagen kan zorgen. De vraag is nu: wat weegt zwaarder?

Het kan beter

Mijn scriptiebegeleider antwoordt op de vraag “is A beter dan B” altijd hetzelfde: it depends.  Ook hier lijkt me dat het geval. Reinier gaf al aan dat vooral breakrondes met AP format zich goed lenen voor stemmen. De reden hiervoor is dat alle juryleden hier een minimaal niveau hebben en dat door het AP format de afweging minder complex is dan bij BP. Dit principe is vervolgens dan ook in de praktijk gebracht bij (in elk geval) de afgelopen twee edities van het Bonapartiaans Debattoernooi.

De beperking van dit systeem werd duidelijk bij bijvoorbeeld een stelling over de Lord’s Resistance Army, waar juryleden mét bepaalde kennis voor het ene team stemden en juryleden zonder die kennis voor het andere team. Op zo’n moment was “uitwisseling van signalen” dus een goed idee geweest. Kunnen we dit probleem oplossen zonder van stemmen af te zien?

Ik denk van wel. Een mogelijke oplossing zou bijvoorbeeld zijn om de overlegtijd te beperken tot 5 minuten vlak voor het stemmen. Juryleden kunnen dan eerst hun eigen mening vormen, vervolgens nog even kennis nemen van de meest prangende signalen van andere juryleden, om vervolgens wel weer anoniem te mogen stemmen zonder de conformeringsdruk. Risico is natuurlijk wel dat als toevallig twee zwaargewichten uit het panel de 5 minuten kapen en beiden voor één bepaald team pleiten, dit voor eenzijdige informatievoorziening kan zorgen en minder ervaren juryleden onterecht aan het twijfelen kan brengen.

Een andere optie is om een aanhanger van zowel de voor- als de tegenstanders (of bij gebrek daaraan: iemand die aangewezen is als aanhanger van één partij) te vragen in 2 minuten de belangrijkste argumenten voor dat team te noemen. Op die manier ontstaat er een evenwichtig beeld en komen belangrijke signalen voor beide teams naar boven. Dit lijkt mij persoonlijk de beste optie voor die gevallen waarin stemmen een reële mogelijkheid is.

Voor het gros van de gevallen zitten we echter vast aan juryoverleg. Dat is op zich niet erg, maar er zijn een aantal dingen die we kunnen doen om ervoor te zorgen dat de nadelen minder prominent worden:

  1. wijs een “advocaat van de duivel” aan. Deze persoon moet tijdens het juryoverleg mordicus tegen de winnaar zijn die de rest aanwijst. Het voordeel hiervan is dat relevante informatie naar boven komt, terwijl de advocaat van de duivel zelf geen reputatieschade hoeft te vrezen (immers: het was zijn rol om tegen te zijn). Ik weet dat sommige juryleden dit automatisch al doen, maar we zouden het moeten institutionaliseren, zeker bij breakrondes.
  2. laat de breakkansen van een jurylid meer afhangen van feedbackformulieren dan van bemoeienis door grote namen in de debatwereld.
  3. de leiderschapsstijl van veel chairs, zeker in breakrondes, moet veranderen van “directive leadership” (“het is A en waag het eens tegen te zijn”) naar “supportive leadership” (“mag ik iemand vragen een case te maken voor team A en team B”).
  4. de initiële calls, wat nu vaak de manier is waarop een overleg wordt gevoerd, mogen de prullenbak in. Juist “anchoring” (het maken van een initiële beslissing zonder goed op de feiten in te zijn gegaan) zorgt voor een te vroeg commitment aan een bepaalde keuze en (de perceptie van) gezichtsverlies als later die keuze moet worden teruggenomen. Dit is zeker het geval als een chair direct zijn/haar initiële call bekendmaakt. Om met Sherlock Holmes te spreken: “It is a capital mistake to theorize before one has data. Insensibly one begins to twist facts to suit theories, instead of theories to suit facts.”

Ik hoop met dit artikel een verdere slinger te geven aan het jureringsdebat dat eerder al door Reinier begonnen. Jurering is één van de belangrijkste onderdelen van het debat, en goed nadenken over hoe we dat inrichten zal de debatsport kwalitatief ten goede komen én de externe validiteit van uitslagen te goede komen. Over juryrechtspraak in de VS kon Herbert Spencer nog terecht opmerken: “A jury is composed of twelve men of average ignorance.” Als debaters hebben we dat excuus helaas niet.

Referenties

Frey, D., Schultz-Hardt, S. & Stahl, D. (1996). Information seeking among individuals and groups and possible consequences for decision making in business and politics. In Witte & Davis (Eds.), Understanding group behavior: Small group processes and interpersonal relations (pp. 211-225). Mahwah: Erlbaum.

Morris, S. (2001), “Political Correctness”, The Journal of Political Economy, 109(2):231-265

Stroebe, W. & Diehl, M. (1994). Why groups are less effective than their members: On productivity loss in idea generating groups. In W. Stroebe & M. Hewstone (Eds.), European Review of Social Psychology (vol. 5. pp 271-303). London: Wiley.

Tindale, R. S. (1993). Decision errors made by individuals and groups. In N. J. Castellan Jr. (Ed.), Individual and group decision making: Current issues (pp. 109-124). Hillsdale: Lawrence Erlbaum.

Facebook Twitter Linkedin Email

Over de auteur

Bionda Merckens contributor

6 reacties tot nu toe

Eric StamGeplaatst op11:27 am - mei 12, 2011

Helemaal eens (maar dat bleek al uit reactie op artikel 1).

Zelf ben ik niet per se tegen initiele calls, maar ik ben wel voor double checking. Juist bij een ogenschijnlijk heldere uitslag moet je heel waakzaam zijn. Dat komt de facto neer op een chair die inderdaad zal vragen of iemand een case wil maken voor een of meerdere teams. Het institutionaliseren van een advocaat van de duivel lijkt me wel de moeite van het proberen waard – juist omdat mensen die het nu soms doen het ook heel lafjes doen (”Ja, ik weet het, ik zeg ook maar wat…”’). ”Supportive leadership” als leiderschap spreekt voor zich, of zoals ik het – kuch – noemde procesbegeleiden.

Daniël SpringerGeplaatst op12:00 pm - mei 12, 2011

Overigens ter verduidelijking: initiële calls zijn vooral slecht als de chair niet de door Eric genoemde tijd geeft om rustig nog even aantekeningen door te lezen en het debat te laten bezinken. Gebeurt dat wel, dan lijkt het mij niet zo’n probleem.

SarieGeplaatst op12:29 pm - mei 13, 2011

Goed stuk Daniel. Je gaat echter wel voorbij aan de vraag of je wel wilt dat juryleden elkaar meer informatie geven. Als je ervan uitgaat dat debatteren een spel is waarbij het om overtuigen gaat, dan zou je niet moeten willen dat een jurylid nadat het debat voorbij is de rest van de jury alsnog gaat overtuigen.

Stel je voor, vier van de vijf juryleden geloven dat team A heeft gewonnen, jurylid vijf denkt dat team B heeft gewonnen omdat hij een tegenstelling in de lijn van team A heeft geconstateerd. Jurylid vijf is toevallig ook zelf een goede debater met een goede reputatie als jurylid. Als goede debater kost het jurylid vijf weinig moeite om de andere juryleden te overtuigen, zelfs al is er een advocaat van de duivel en als mensen niet bang hoeven te zijn dat ze nooit meer een break mogen jureren.

Dan kan je zeggen, wat goed dat jurylid vijf die tegenstelling opmerkte. Maar hoe belangrijk was die tegenstelling als vier van de vijf juryleden hem niet hadden opgemerkt of desondanks waren overtuigd door team A? Ik zou liever het team laten winnen dat de meeste juryleden overtuigde, en niet het team dat de beste debater in de jury wist te overtuigen. Zodra je juryleden met elkaar laat debatteren over de uitslag, gaat niet het debat, maar het debat in de jurykamer de uitslag bepalen.

    Daniël SpringerGeplaatst op2:53 pm - mei 13, 2011

    Hoi Sarie!

    Ik geef direct toe dat mijn stukje ook maar een aanzet is en dus zeker niet alle topics volledig behandelt. Dit is er zo één van waar je an sich een hele reeks aan zou kunnen weiden omdat het fundamenteel gaat over wat het doel van het debat is. Ik durf wel een lans te breken voor het tegenovergestelde van jouw visie.

    Zoals ik aangaf geloof ik dat er in een debat zóveel informatie op de jury afkomt dat zelfs het beste jurylid wel eens belangrijke dingen mist. Persoonlijk vind ik overleg alleen als klankbord al prettig, omdat het er voor zorgt dat ik mijn gedachten uit moet spreken, moet verdedigen en zo direct zie (idealiter) of ik misschien redeneer vanuit een bepaalde bias of doordat ik iets cruciaals over het hoofd heb gezien. Ik geloof sterk dat een overleg waar de groepsprocessen die ik omschreef (zoveel mogelijk) worden uitgesloten en dat niet te lang duurt (op een bepaald moment moet je inderdaad gewoon agree to disagree, zoals Eric al aangaf) ervoor zorgt dat ieder individu een completer beeld krijgt van het debat en gedwongen wordt meer overwogen te kiezen.

    Maar dan jouw voorbeeld: wat als maar één iemand iets opmerkt wat de rest mist, moet je daar dan wel op willen jureren? Er zijn twee redenen om te zeggen: ja dat is wel zo prettig.

    1: theleologisch gezien kunnen we zeggen dat het parlementair debat, wat het spelletje is dat we spelen, niet hetzelfde doel dient als een “gewoon” debat. Als ik als minister beleid verdedig, dan wordt ik inderdaad keihard afgestraft op elke tegenstelling die er in mijn verhaal zit en elk feit dat niet waar is, zo niet direct, dan toch later door de media. Bedenk goed dat wat wij proberen na te bootsen niet debatteren met als doel debatteren is, maar debatteren met als doel goede besluitvorming. Daar mag je inderdaad zeggen dat als één journalist doorheeft dat je onzin uitkraamt je de lul bent.

    2: qua eerlijkheid is het natuurlijk wat vreemd om de schuld voor het missen van iets cruciaals in je speech altijd bij de spreker neer te leggen. Als 4 van je juryleden gewoon niet zo goed zijn, of niet op zaten te letten, of jou niet zo graag mogen, of je stem vervelend vinden om naar te luisteren etc.. dan is het de vraag of dat jou aan te rekenen valt. Juist omdat het zo makkelijk is om iets kleins te missen in een debat (“oh wacht, maar die tegenstelling loste hij aan het eind nog op met die twee zinnetjes!”) kan het zomaar zijn dat 4 mensen tegelijkertijd iets missen wat jij gewoon gezegd hebt, terwijl 4 even goede juryleden het ook toevallig wel kunnen merken. Het wordt dan wel erg arbitrair waar je op beoordeeld wordt.

    Overigens is de logische conclusie van het “debatteren is overtuigen” paradigma natuurlijk dat als we vijf basisscholieren neerzetten die het team met de meeste poep- en piesgrapjes laten winnen dit een prima uitslag is. Immers, dat vinden zij nu eenmaal overtuigend. Mijn punt is dus dat overtuigen belangrijk is, maar dat ons spelletje wel een specifieke definitie heeft van wat overtuigend IS, namelijk een inhoudelijk en logisch kloppend en goed onderbouwd verhaal.

SarieGeplaatst op12:31 pm - mei 13, 2011

Sorry Danique, had net de reactie van Daniel gelezen, vandaar de fout.

Eric StamGeplaatst op7:49 pm - mei 13, 2011

@ Sarie:

Klopt het dat je informate delen / observaties uitwisselen gelijkstelt aan overtuigen? Volgens mij is Daniel’s betoog juist vrij scherp in het bespreken van de negatieve groepsprocessen (die feitelijk neerkomen op overtuigingskracht met oneigenlijke middelen zoals stautus, reputatie en sociale validering van een meerderheid). Alle aanbevelingen zijn er juist op gericht om dat soort praktijken te voorkomen.

Reacties zijn gesloten.