De keuzes van CA-teams

Er verschijnen vele juryrichtlijnen, er zijn talloze juryavonden en er is ieder toernooi wel een officiële jurybriefing. Toch wordt er weinig aandacht besteed aan de rol van het team dat hen aanstuurt: het Chief Adjudication-team. Mijn hypothese is dat er door die teams vooral op twee vlakken veel fouten worden gemaakt: de toewijzing van de juryleden en de keuze van de stellingen.

Are you on the list?

"Zwarte lijst"

Sinds de invoering van de “zwarte lijst” is de spoeling van goede juryleden drastisch verminderd. Niet langer is het hebben van een liefdes- of werkrelatie noodzakelijk om uit een jurypanel gezet te worden. Tegenwoordig is ook de verhouding tussen twee debaters van dezelfde vereniging te heilig om elkaar te mogen beoordelen. Zo mochten juryleden uit Rotterdam, Amsterdam en Utrecht, alsmede juryleden met enige relatie tot de Debatbond geen zitting nemen in de finalejury van het afgelopen Nederlands Kampioenschap Debatteren. Met een magere delegatie uit Leiden vraag je je af: wie blijft er over?

Zwakkere juryleden

Het eerste probleem dat optreedt bij het a priori afschrijven van een groot aantal kwaliteitsjuryleden is dat de overblijvers vaak relatief onervaren zijn en niet in staat om het debat goed te begrijpen. De juryleden die in (halve-)finalepanels terecht komen zijn vaak zelf niet goed genoeg als debater om de finale te halen. Minder goede juryleden begrijpen de essentie van een debat slechter, wat betekent dat verkeerde factoren eerder in hun beslissing meegewogen worden en dat de kans op een onjuiste call groter is. Bovendien trappen zwakkere juryleden vaker in retorische trucs en stemmen ze eerder op reputatie – of juist niet. Vooral finales bestaan uit teams die op hoog niveau met elkaar redetwisten. Goed begrip van wat argumenten sterk en zwak maakt is zeker daar een belangrijke voorwaarde voor het bepalen van de juiste uitslag.

Alle Nasen in dieselbe Richtung

Onjuiste calls

Sommige verenigingen hebben genoeg jurykracht om een finalepanel te vullen, maar ook dat is onwenselijk. Debatteren is namelijk een subjectief spelletje, waarin vage begrippen zoals ‘relevantie’ en ‘uitwerking’ getoetst moeten worden. In het Brits-Parlementaire format is dat een flinke uitdaging omdat de beste teams niet altijd met elkaar clashen. Zodoende maken juryleden afwegingen, die grotendeels door hun eigen debatperspectief ingegeven zijn. Debaters houden er vaak verenigingspecifieke perspectieven op na. Zo is het bekend dat Rotterdammers economische argumentatie vaak meer waarderen dan Leidenaren en Leidenaren meer waarde hechten aan filosofie. Wanneer een jurypanel uit veel juryleden uit dezelfde stad bestaat, treedt er dus een bias op, waardoor argumenten niet altijd de waardering krijgen die ze verdienen. Ook dit beïnvloedt de uitslag.

Monotone stellingen

Naast de selectie van juryleden zijn ook de stellingen herhaaldelijk een probleem. In plaats van de stellingen te kiezen die het beste toernooi opleveren, kiezen sommige CA-teams voor de onderwerpen die ze zelf het leukst vinden. Op het afgelopen Nederlands Kampioenschap bijvoorbeeld. Zo hadden veel stellingen hetzelfde thema. Rolpatroonbevestigende reclames, positieve discriminatie en pornografie behandelen elk op een andere manier hetzelfde vraagstuk: de positie van de vrouw binnen de maatschappij. Op die manier zijn er weinig uiteenlopende debatten en hebben teams met een voorkeur voor een bepaald thema een onevenredig groot voordeel.

Stel je bent CA….

Ruzie over feiten

Naast de obsessie voor favoriete onderwerpen is er nog de nieuwste fetisj van debatterend Nederland: “situationals”, een type stelling waarbij de debaters niet vanuit het perspectief van de gebruikelijke “Kamer” argumenteren, maar vanuit een bepaald individu. Dit soort stellingen verrijkt het debatspel omdat het veel standaardargumenten die in teveel debatten terugkomen irrelevant maakt en debaters creatiever leert nadenken. Helaas zorgt dit soort stellingen dikwijls voor rare debatten. Zo ontstond in een debat over de Duitse onderzoeker die moest kiezen of hij door zou gaan met een nucleair programma een debat binnen een debat over de feiten van 1942. Centrale issues waren of de VS al aan de oorlog meedeed en welke informatie de Duitsers over hun bewind hadden. Kennisintensieve debatten lopen al vaak genoeg op teleurstellingen uit. Dit probleem wordt nog eens vele malen erger wanneer een debat vanuit het perspectief van een vreemde in een andere tijd gevoerd wordt.

Het debat vóór het debat

Als hoofdjuryleden hun huidige koers doorzetten verwordt debatteren tot een kansspel. Hoofdjuryleden houden de debatstandaarden, die zij als deelnemers wel rigoureus toepassen, te vaak niet aan wanneer ze aan de andere kant van het sprekersgestalte zitten. Er moet meer ruimte komen voor het debat vóór het debat , in plaats van elk “cool” idee toe te juichen en de meest modieuze policies in te voeren. CA-teams moeten kritische klankbordgroepen worden waarin reality checks centraal staan en het belang van de debaters voorop wordt gesteld. Ze dienen hun keuzes minder te baseren op wat zij zelf interessant vinden en meer op wat de beste randvoorwaarden creëert voor een debattoernooi van hoog niveau. Dat is de enige manier waarop debatkwaliteiten tot hun recht kunnen komen. Het toernooi draait immers om de deelnemers, niet om de juryleden.

Nederlandse Debatbond

Nederlandse Debatbond | Website | + berichten

De Nederlandse Debatbond (NDB) stelt zich als doel het wedstrijddebat te bevorderen en ondersteunen in Nederland. Als nationaal overkoepelend orgaan vertegenwoordigt de NDB ongeveer 1.000 leden waarvan de meesten lid zijn van één van de debatverenigingen die Nederland rijk is.

Nederlandse Debatbond administrator

7 Reacties tot nu toe

Jeroen ClaassensGeplaatst op4:27 pm - mei 29, 2012

‘Met een magere delegatie uit Leiden vraag je je af: wie blijft er over?’

Om precies te zijn: 4 leden uit het CA-team, Groningen, Maastricht, Nijmegen, Tilburg en Middelburg. De Nederlandse debatwereld is gelukkig groter dan de Randstad. (Zie ik hier een bias richting sommige steden? :P)
Ten tweede is de aanname dat mensen die als debaters niet breken gelijk ongeschikt zouden zijn als breakjury onjuist. Ik kan een hoop voorbeelden van personen opsommen, maar ik heb geen zin om namen van personen op een internetpagina te zetten.
Zelfs als we zouden aannemen dat je gebroken moet zijn goed te kunnen jureren: Groningen de laatste twee jaar op het EK, mensen uit Groningen op Cicero, EDS, DTU. Maastricht won afgelopen weekend de Mace, en ik ken meer dan genoeg uiterst capabele debaters bij de andere drie steden, ook al kan ik zo niet uit mijn hoofd hun breaks opsommen. Dus zelfs dan niet echt een probleem lijkt me.
Ten derde, lijkt het me zo nu en dan ook juist goed om ‘nieuw talent’ als jury te laten breken. Hoe werk je als debatwereld aan een brede basis van capabele juryleden met breakervaring als je alleen de mensen die zich talloze malen hebben bewezen laat breken? Juist dan blijf je op de lange termijn met dit probleem zitten.

Dit even als mijn kritiekpunten, maar ik moet wel toegeven Rooj, je stipt zeker een aantal punten aan die het waard zijn om over na te denken.

Daan WellingGeplaatst op5:18 pm - mei 29, 2012

Ik wil graag op een paar punten (met name de zwarte lijst, “zwakke juryleden” en over situational stellingen) reageren.

Je merkt op dat volgens de Zwarte Lijst verenigingsjuryleden elkaar niet zouden mogen jureren. Dit staat echter niet op de lijst vermeld. Uitgezonderd worden met name liefdesrelaties, langdurige debatpartnerschappen en bestuursgenoten/collega’s. Leden van de vereniging mogen elkaar echter nog wél volgens deze lijst jureren. CA-teams maken zelf de keuze of ze dit wel of niet toestaan. Om een andere reden, waarvan jij hebt aangegeven dat je erop moet oppassen bij juryleden (bepaalde verenigingen kijken anders naar argumentatie), kiest men vaak er voor om geen juryleden van dezelfde vereniging in (halve) finalepanels te zetten.

En zoals Jeroen al aangaf: het NK-finalepanel bestond volgens mij uit twee Leidse, een Gronings, een Utrechts (Hybris) en een Maastrichts jurylid; hiervan waren 3 juryleden als debater op Euros gebroken, 1 op een nationaal kampioenschap en hadden 4 van de 5 juryervaring in finalepanel (De 5e persoon was DCA). Dat betekent overigens ook dat niet alle neuzen in dezelfde richting stonden in dit finalepanel (ook in het debat in de halve finale waar ik zelf in stond waren er 2 Groningse, 2 Rotterdamse en 1 Maastrichts jurylid; een prima verdeling, lijkt me zo).

Ook je premisse dat je als debater zelf in staat moet zijn om te breaken ondersteun ik niet. Ik heb finales gejureerd voordat ik zelf als debater brak. Als onbekend jurylid op een Iers toernooi ben ik getest door de CA van aankomende Worlds, en later op zijn verzoek door andere goede Ierse juryleden. Op dat toernooi mocht als chair de novice-finale begeleiden. Er zijn voldoende voorbeelden van andere juryleden uit binnen- en buitenland die zonder een opmerkelijk debatCV verdomd goede juryleden blijken te zijn. Ook zijn er voorbeelden van succesvolle debaters te vinden waarover veel skepsis bestaat of zij goed kunnen jureren. Om reputatieschade en onnodige discussies te voorkomen lijkt het me niet handig namen te noemen ;).

Verder geloof ik niet zo in het oude verhaaltje dat Rotterdammers economen, Leiden filosofen en Amsterdammers sociologen zijn. Vrije keuze en rationaliteit zijn argumentatielijnen die succesvolle debaters uit alledrie die steden (en ook van veel andere succesvolle verenigingen als Groningen en Utrecht) prima toe kunnen passen. Voor jureren lijkt het me in ieder geval minder relevant: ik heb wings en chairs gehad van andere verenigingen wiens jurycall ik prima kon begrijpen en met wie een discussie mogelijk was zonder dat ik het gevoel had vanuit een ander ‘debatparadigma’ met ze te praten.

De situational-stelling op het NK had een iets scherpere informatieslide mogen hebben: het was helderder geweest als we hadden geweten of de Duits-Russische invasie en Pearl Harbor plaats hadden gevonden. Maar de clash van het debat (is het ethisch verantwoordelijk om een nucleair wapen te bouwen, en welke ethiek hang ik aan? Helpt dit wapen om Duitsland te beschermen of lokt het een nog bloediger oorlog uit?) zijn zonder die twee feiten te weten ook heel duidelijk te voeren. Voor de rest mag ik hopen dat CA-teams debatten over de Tweede Wereldoorlog mogen setten; als de algemene kennis van debaters niet toereikend is om basale feiten over de meestbesproken oorlog uit de wereldgeschiedenis te kennen, dan vrees ik voor de toekomst van het spelletje.

Over de rest van de stellingen op het NK deel ik je kritiek dat de argumentatielijnen eenzijdig waren (al heb ik bij het porno- en het reclamedebat keurig verdedigt dat de patriarchische samenleving jongens net zo veel schaadt als meisjes). Gelukkig is dit maar één meetmoment, en zijn er voldoende toernooien geweest in Nederland dit jaar waar geen duidelijk hoofdthema te vinden was (Al kreeg ik persoonlijk het idee dat het BDT erg veel economisch getinte stellingen had. Maar ik ben dan ook een ‘Leidse filosoof’).

Danique van KoppenhagenGeplaatst op5:35 pm - mei 29, 2012

Ik herken veel van wat Rooj schrijft over het kiezen van stellingen, en ben zelf ook al eens in die valkuil gestapt. Ik denk ook dat het heel waardevol zou zijn als er weer meer discussie over de stellingen plaats zou vinden. Zelf ben ik altijd erg blij met kritiek vanuit debaters op stellingen, vooral als die onderbouwd is. Ook als (d)ca valt er nog veel te leren, en daar kunnen dit soort artikelen aan bijdragen, net zo goed als persoonlijke feedback.

Echter, ik moet ook eerlijk zeggen dat ik de kritiek op juryleden minder deel. Goede juryleden hoeven geen geweldige debaters te zijn. Daarnaast denk ik dat het belangrijk maken van die aanname ook voor een cultuur zorgt waarin feedback van minder ervaren juryleden minder serieus genomen wordt. Dat is een gevaarlijk verschijnsel. Niet alleen omdat je soms simpelweg alleen maar gejureerd wordt door minder ervaren juryleden, maar ook omdat sommige ervan extreem goed zijn. Het zou zonde zijn dat talent te laten gaan – net als het zonde is om een te restrictieve zwarte lijst te hebben waardoor de kwaliteit van de panels lager wordt.

MennoGeplaatst op6:47 pm - mei 29, 2012

Goed artikel, Rooj. Ik ben helemaal blij dat dit thema aangesneden wordt.

Ik ben het met je eens als het om debatervaring gaat om juryleden. Het gaat er niet zozeer om dat een jurylid precies zo goed is als hij goed is in debatteren, maar dat bepaalde prestaties als debater een bepaald begrip van het spel garanderen. Als hij of zij dat begrip op een andere manier aan kan tonen, zoals Daan heeft gedaan in Ierland, is dat ook prima, maar dat is lastig voor een CA-team om zeker te weten op een hektisch toernooi met een beperkt aantal rondes. Voor de debatten waar Rooj het over heeft, finales en halve finales, is een break op een gerenommeerd toernooi geen verkeerde standaard, wat mij betreft.

Ik wil graag een voorstel doen dat op Rooj zijn betoog aansluit: de win-lose statistieken van de debatten op een toernooi een aantal weken erna op deze site plaatsen. Bij Cogency houden Rob en Sander de statistieken voor hun scholierentoernooien nauwkeurig bij, die zijn vaak heel interessant. Uit dat soort statistieken kunnen CA’s van nu en de toekomst lering trekken. Het wordt dan ook makkelijker om op onderbouwde wijze met CA’s het gesprek aan te gaan over de merites van stellingen.
Let wel: ik heb het dan over een constructief gesprek waarin overwegingen achter stellingen naar voren kunnen komen. Ik ben heel blij dat getalenteerde debaters de taak van CA op zich nemen. Als zij openheid verschaffen over hun successen en fouten en hun lessen delen, worden de toernooien in de toekomst alleen maar beter.

Daniël SpringerGeplaatst op7:31 pm - mei 29, 2012

Gelukkig heeft Rooj het stuk geschreven waar ik na het NK aan dacht, maar waarvoor ik geen tijd had om het te schrijven. Aangezien ik het grotendeels met hem eens ben zal ik me focusen op de reacties.

Regionale diversificatie en het laten breaken van relatief minder ervaren / onbekendere juryleden lijkt mij een erg goed idee. Waar Rooj wel terecht tegen ageert is dat dat in de finale van het NK zou moeten gebeuren. Zeker als de winnaars met een 4-3 split winnen is dat vanuit mijn perspectief in elk geval onbegrijpelijk. Als je het doel van het debat definieert als “zo overtuigend mogelijk zijn” dan kun je inderdaad iedereen in dat jurypanel neerknallen. Het probleem is dan alleen dat we het gemeenschappelijke raamwerk van wat een goed debat is volledig kwijtraken, waardoor uitslagen 100% afhankelijk worden van het panel dat je toevallig hebt, en je als debater geen enkel idee hebt wat er van je verwacht wordt voordat je kunt winnen. Zeker in van zichzelf al lastig in te schatten BP is dit erg storend.

Daan geeft terecht aan dat op de “zwarte lijst” (of de nog mooiere “grijze lijst”) tot dezelfde vereniging horen niet voorkomt. Maar als je iedereen uitsluit met wie je met enige regelmaat hebt gedebatteerd dan krijg je zeker binnen de kring van succesvolle debaters al snel hetzelfde effect “by proxy”. Zeker als je de lijst echt volledig toe gaat passen en ook iedereen met wie je plant om te gaan meedoen aan een toernooi schrapt, of mensen met wie je een bestuur hebt gedaan.

Natuurlijk is niet elke niet-bekende debater een slecht jurylid en vice versa. Maar je moet wel héél strak geloven in het idee dat alle juryleden gelijk zijn wil je een zeer ervaren debater en jurylid van bijvoorbeeld Bona schrappen vanwege de aanwezigheid van een Bonateam, en die persoon vervolgens vervangen door iemand met weinig ervaring. De bias die ikzelf bijvoorbeeld heb voor een EDS team (ik geloof oprecht dat ik die nauwelijks heb, maar stel) is helemaal niet per definitie sterker dan de bias die ik heb voor een bepaald type argument, of de bias die je als CA team lid hebt bij je eigen stelling (“ze doen helemaal niet wat ik er mee bedoelde”). Door bepaalde biases wel uit te sluiten en andere niet voorkom je dus alleen maar dat de verschillende biases elkaar neutraliseren.

Ook wat stellingen betreft moet ik Rooj gelijk geven. Een “thema” hebben op je toernooi is wat mij betreft iets voor het NDI (leuk 10 stellingen over de rol van de notaris in de samenleving). Tijdens het BP toernooi hadden we van tevoren toch echt meerdere thema’s waar we een stelling bij wilde, en misschien krijg je dan niet de stellingen die je het allergaafst ter wereld vindt, maar in elk geval hoef je niet 500 keer over emancipatie te debatteren. Aan de andere kant hadden we het NK wellicht wel door de Opzij kunnen laten sponsoren, gemiste kans.

De keuzes van CA-teams vervolgd: Memoirs of a Sea-Aye – Nederlandse DebatbondGeplaatst op8:50 pm - mei 29, 2012

[…] In zijn artikel geeft Rooj interessante inzichten over het effect van een CA-team (het team van mensen dat de stellingen bedenkt) op een toernooi. […]

rogierGeplaatst op11:21 pm - mei 29, 2012

Hoewel ik over het algemeen me liever niet meng in …dit.
Zijn er toch 3 dingen die ik wil zeggen.
Allereerst sta ik volledig achter de stellingen die we hebben gekozen voor het NK.
Twee: ik kan me niet vinden in het commentaar op de stellingen, als je maar een issue ziet in die stellingen moet je misschien creatiever worden.
Drie: hoewel ik met trots credit zou nemen voor de drie stellingen die in de discussie, en met name de reactie(s) worden genoemd, moet ik helaas teleurstellen, slechts een van de drie was van mij afkomstig.

Liefs Rogier.

De keuzes van CA-teams