Schafft das Runden ab! – Ein Kommentar von Lukas Haffert
Wenn Ende September die Juroren beim Masters Cup Ergebnisse ausrechnen, verzichten sie auf einen in der Offenen Parlamentarischen Debatte (OPD) üblichen Schritt: Im Masters-Format wird nicht kaufmännisch gerundet. Das verhindert Verzerrung und einen falschen Break, glaubt Lukas Haffert. Er fordert deshalb auch für OPD: Schafft das Runden ab!
Vor einigen Jahren hatte ich das Vergnügen, in einem Halbfinale des Masters Cups gemeinsam mit Sebastian Berg gegen Isabelle Fischer (damals noch Loewe) und Florian Umscheid über politische Streiks zu debattieren. Die beiden besten Reden der Debatte hielten Isa und Sebastian. Das sahen auch die Juroren so. Ins Finale breakten trotzdem Sebastian und ich.
Jurierbogen mit Punktzahlen – später wird gemittelt
(c) F. Umscheid
Wie kam es dazu? In einem Wort: Rundung. Im Format des Masters Cup werden nicht nur die Gesamtpunktzahlen der Redner, sondern die Punkte in jeder einzelnen Kategorie gemittelt. Wenn man auf ganzzahlige Punktzahlen rundet, erlaubt das sehr viel Spiel für Rundungseffekte. Im Extremfall kann ein Redner, der auf jedem einzelnen Jurorenbogen weniger Punkte erzielt als eine andere Rednerin, im gerundeten Mittel trotzdem vor dieser landen.
Die Deutsche Debattiergesellschaft (DDG) hat auf dieses Phänomen inzwischen reagiert. Auf dem Masters Cup wird nur noch gemittelt, aber nicht mehr gerundet. Das Mittel aus 33 und 36 Punkten sind nun arithmetisch korrekte 34,5 und nicht mehr 35.
In OPD die Regierung zum Sieg mitteln
Es ist an der Zeit, diesen Schritt auch im Format OPD zu gehen. Denn prinzipiell plagt die OPD genau dasselbe Problem. OPD traut seinen Juroren zu, 10 Punkte von 11 Punkten in einer Kategorie unterscheiden zu können. Anders gesagt: Es erzeugt eine extrem hohe Detailpräzision auf den Jurorenbögen. In der Jurierung wird diese Präzision dann aufgegeben und durch den großen Gleichmacher „kaufmännisches Runden“ ersetzt. Dazu ein Zahlenbeispiel, um es noch einigermaßen übersichtlich zu halten mit drei Juroren und ohne Freie Redner.
| Redner |
Juror 1 |
Juror 2 |
Juror 3 |
Gerundetes Mittel |
Exaktes Mittel |
| Regierung 1 |
43 |
48 |
46 |
46 |
45,67 |
| Regierung 2 |
48 |
49 |
49 |
49 |
48,67 |
| Regierung 3 |
52 |
50 |
48 |
50 |
50 |
| Opposition 1 |
45 |
45 |
42 |
44 |
44 |
| Opposition 2 |
46 |
49 |
50 |
48 |
48,33 |
| Opposition 3 |
48 |
54 |
49 |
50 |
50,33 |
| Regierung Team |
89 |
96 |
81 |
89 |
89 |
| Opposition Team |
94 |
96 |
84 |
91 |
91,33 |
| Regierung gesamt |
232 |
243 |
224 |
234 |
233 |
| Opposition gesamt |
233 |
244 |
225 |
233 |
234 |
Voilà: Ich habe aus drei Bögen, die allesamt die Opposition (wenn auch denkbar knapp) vorne sehen, einen Sieg für die Regierung gemittelt. Natürlich ist dieses Beispiel konstruiert. Aber es sollte gar nicht konstruierbar sein. Und es ist empirisch durchaus relevant: Gerade in KO-Runden werden Debatten oft sehr knapp entschieden. Auf der Deutschsprachigen Debattiermeisterschaft (DDM) wurde ein Halbfinale mit zwei Punkten Differenz juriert. Immer wieder muss über den Break Freier Redner durch Los entschieden werden. Das Finale des Marburger Brüder-Grimm-Cups im Mai 2013 wurde erst durch den Präsidenten entschieden. Ich habe die Jurierbögen aus diesem Finale nicht gesehen, aber ich möchte wetten: Auf den Bögen der Juroren gab es keinen exakten Gleichstand zwischen den beiden Teams. Dieser entstand erst durch Rundung.
Die Tyrannei der Nachkommastelle
Nun kann man natürlich sagen, dass bei so engen Debatten das Ergebnis ohnehin Zufall ist. Hätte nur ein Juror nur ein einziges Zitat etwas anders beurteilt, hätte er einen Punkt mehr gegeben oder einen Punkt abgezogen – das Ergebnis wäre ein anderes. Das Argument hat seine Berechtigung und deshalb kann man Gründe für den Präsidentenentscheid finden. Aber heißt das, dass wir auch die Wahl des Entscheidungsverfahrens dem Zufall überlassen sollen? Im obigen Beispiel hätte es gereicht, wenn Juror 1 dem Eröffner der Regierung 44 und dem Ergänzer der Regierung 47 Punkte gegeben hätte. Das hätte an seinen Gesamtpunktzahlen nichts geändert und doch hätte es Dank der Tyrannei der Nachkommastellen einen Präsidentenentscheid gegeben.
Halten wir also fest: Durch Rundung können enge Debatte willkürlich kippen. Debatten, die „in Wahrheit“ (was immer beim Debattieren Wahrheit ist) unentschieden sind, finden einen Gewinner; Debatten, die einen Gewinner haben, enden unentschieden. Zur entscheidenden Frage wird, ob die erste Nachkommstelle des Mittelwerts kleiner oder größer als 5 ist. Davon sollte man Breaks nicht abhängig machen.
Abschließend noch ein kleines, aber nicht irrelevantes mathematisches Argument: Die Rundung sorgt dafür, dass es in Vorrunden erstrebenswert ist, von einer geraden Anzahl Juroren juriert zu werden. Warum? Bei einer geraden Anzahl wird häufiger auf- als abgerundet (bei zwei Juroren z.B. wird nie abgerundet), bei einer ungeraden Anzahl geschieht dagegen beides gleich häufig. In den sechs Vorrunden einer DDM bekommt ein Redner, der stets von Zweierjurys juriert wird, daher – allein durch Rundung! – im Erwartungswert drei Punkte mehr im Tab als ein Redner, der stets drei Juroren vor sich hat. Drei Punkte, die leicht über den Break entscheiden können.
Was also schlage ich vor? Die Lösung ist denkbar einfach: Schafft das Runden ab! Wohl sehe ich den natürlichen Einwand: Präsidenten verrechnen sich heute schon ständig, wieviel schlimmer wird es erst, wenn wir nun auch Genauigkeit hinter dem Komma von ihnen verlangen? Dazu zwei Antworten. Erstens: Das OPD-Regelwerk empfiehlt bereits heute die Verwendung eines Taschenrechners. Und zweitens: Das Runden selbst ist ebenfalls eine nicht zu unterschätzende Quelle von Fehlern. Der Masters Cup hat es abgeschafft und ist von Tabkatastrophen verschont geblieben.
Text: Lukas Haffert/kem
Anmerkung der Redaktion: Der Autor ließ der OPD-Regelkommission seinen Text per E-Mail zukommen, bevor er hier auf der Achten Minute veröffentlicht wurde.
Das Mittwochs-Feature: jeden Mittwoch ab 9.00 Uhr stellt das Mittwochs-Feature eine Idee, Debatte, Buch oder Person in den Mittelpunkt. Wenn du selbst eine Debatte anstoßen möchtest, melde dich mit deinem Themen-Vorschlag per Mail an team [at] achteminute [dot] de.
Lukas Haffert war Chefjuror der Deutschsprachigen Debattiermeisterschaft (DDM) 2012 und 2013 sowie der ZEIT DEBATTEN Mainz 2011 und Münster 2012. Er ist Deutscher Vizemeister 2008 und wurde als bester Finalredner der DDM 2011 ausgezeichnet. In der Amtszeit 2009/10 war er Vizepräsident des Verbandes der Debattierclubs an Hochschulen e.V. (VDCH). Derzeit promoviert er am Max-Planck-Institut für Gesellschaftsforschung in Köln.
Hallo Lukas,
danke fuer den Artikel. Ich schliesse mich grundsaetzlich an nicht mehr kaufmaennisch zu runden, um eine schnelle, praktische Loesung dieses speziellen Problems zu erreichen.
Auf folgende Stelle moechte ich zudem eingehen: „OPD traut seinen Juroren zu, 10 Punkte von 11 Punkten in einer Kategorie unterscheiden zu können. “
Ich glaube hier liegt eines der Hauptprobleme bei der Bewertung begraben: die Illusion, dass die verschiedenen Kategorien in so feinen Abstufungen unterschieden werden koennen.
Die Skala fuehrt nach meiner Meinung haeufig zu grossen Verzerrungen. Ein Redner, der in jeder Kategorie nur einen oder zwei Punkte mehr hat im Schnitt, hat mindestens fuenf Punkte mehr am Ende, was den gewaltigen Unterschied zwischen 45 und 50 Punkten unterm Strich ausmacht.
Ich denke Skalen mit mehr als 10 (wahrscheinlich sogar weniger) moeglichen Punkten sind extrem anfaellig fuer Unschaerfen und geben eine Genauigkeit vor, die menschlich kaum zu erreichen ist. So viel ich weiss, gibt es dazu auch psychologische Studien. Vielleicht kann hier jemand aushelfen.
Vielleicht sind zudem die Bewertungen etwas besser, wenn die Juroren in guter Stimmung sind oder sie gerade Mittagessen hatten. Ein Witz? Dann schaut mal hier: http://www.theguardian.com/law/2011/apr/11/judges-lenient-break
Ein erster Schritt zur Verbesserung sollte es sein, Juroren ueber diese Schwaechen aufzuklaeren, so dass sie eine Moeglichkeit haben, damit umzugehen.
Zudem brauchen wir eine allgemeine Diskussion, die diese Kritikpunkte erfasst und pragmatische Loesungen anbietet, die leicht umgesetzt werden koennen.
Beste Gruesse
Michael
Danke Lukas:) Jetzt sind die OPD-CJs dieser Saison gefragt, würd ich mal sagen..
Muss man über diese Maßnahme wirklich diskutieren? Kann man das nicht einfach machen? Wichtiger scheinen mir da die Punkte zu sein, die Michael anspricht…
Guter Kommentar, Lukas!
Hoffe, die Regelkommission wird sich damit beschäftigen.
Was den Beitrag hier unten von Michael angeht so würde ich dafür plädieren das Jurieren eben auch im Club zu üben und nicht irgendwelche Neulinge auf Turnier mitzunehmen, weil man ja noch einen Juror braucht. Ein unerfahrender Redner oder Juror ist bestimmt nicht in der Lage den Unterschied zwischen 8 oder 9 Punkten zu sehen. Je erfahrener man wird und je mehr Debatten man gesehen, geredet und juriert hat, desdo leichter fällt es einem aber diese Unterscheidungen zu machen. Im Prinzip ist es nichts anderes als die 15 Punkte Skala aus der Schule, erweitert um die Möglichkeit nach der 1+ noch ein bisschen Luft nach oben zu haben, wenn jemand mal ne Martin Luther King Rede hält. Ich wüsste nicht, warum die Schulen ihr Bewertungssystem ändern sollten. Gab m. E. bisher kein Problem damit. Wer sich mit 5 Kategorien, inclusive Teamkriterien und den Punkteskalen überfordert fühlt, sollte das einfach üben. Dafür sind die Clubs doch da. Wer es dann nicht lernt, tja, Debatte ist eben nicht für jeden geschaffen.
Beste Grüße,
Peter
Nur weil man in der Schule auch 15 Pkt. als Skala hat, beweist das ja nicht, dass es sich um identische Systeme handelt bzw. die schulische Bewertung von Juroren für die Bewertung von Debatten umgesetzt werden kann. Die Bewertung in der Schule erfolgt normalerweise durch aggregierte Werte aus mehreren punktuellen Messungen. Ich beispielsweise bewerte jeden Schüler in jeder Stunde auf einer dreiwertigen Skala und addiere die Punkte am Ende des Halbjahres zur Notenfindung. – Beim Jurieren einer OPD-Debatte addieren die Juroren die Ergebnisse einer Messung aus fünf holistischen Bewertungen pro Redner und ergänzen noch Teampunkte. So viele Debatten kann man gar nicht üben, um dabei halbwegs verlässlich zu agieren, vor allem, da es trotz dieser scheinbaren durch die Punktwertung suggerierten Genauigkeit für die OPD-Jurierung keine klaren Indikatoren gibt, wann die für die Kategorien formulierten Kriterien erfüllt sind und wann nicht. – Gleichzeitig fürchte ich aber, dass wir mit amateurhaften Juriervoraussetzung, die dem Format geschuldet sind, leben müssen, denn noch willkürlicher als OPD-Jurierungen sind nur noch die nachträglichen Einzelrednerbepunktungen des BPS-Formats!