Chop, chop – ran an die Eichung!
13 Kommentare zu “Chop, chop – ran an die Eichung!”
Comments are closed.
Comments are closed.
Man könnte den Juroren auf Turnieren auch mitgeben, dass sie zu eng bepunkten. Wenn sie nach 2 oder 3 Vorrunden immer die kleinste Bandbreite an Punkten im Panel hatten liegt das wahrscheinlich daran, dass sie das generell tun und unwahrscheinlich daran, dass ihre Sicht auf die Debatte anders war. Das Tabprogramm könnte diese Informationen zumindest näherungsweise automatisiert ausgeben und CAs und Juroren direkt anzeigen. Wer immer nur zwischen 38 und 52 Punkte vergibt, obwohl die Debatten starke und schwache Rednerinnen hatte, wird von den CAs darauf aufmerksam gemacht.
Auf jeden Fall eine krass aufwändige analyse, ich habe den Artikel sofort verschlungen und fand die Information super spannend
Mir scheint auch dieser Punkt humoristisch wie auch inhaltlich nicht zu vernachlässigen zu sein:
“Fragt euch eher (gerade als erfahrene Person): Warum redet ihr gerade auf dem Turnier, statt zu jurieren?” =D
Schöner Artikel. Vielen Dank für die Arbeit und auch toll, dass man aus dem Tabprogramm diese Daten auslesen kann.
Ich habe an einer Stelle eine Frage/ ein Problem:
Ihr sagt (wenn ich es richtig verstehe), dass eine Aussage wie “Eine Toprede liegt knapp über 60“ nicht förderlich ist, weil man dadurch von Noten als maßgebliche Orientierung abweicht.
Mein Problem ist, dass ich mir unter einer Toprede mehr vorstellen kann als unter der Schulnotenbeschreibung “kaum Schwächen erkennbar”.
Angenommen ich sitze jetzt in einer Debatte als Juror und jemand hält eine der besten Reden, die ich in diesem Jahr gehört habe… Auch nach Jahren des Jurierens weiß ich immer noch nicht wirklich, was das Regelwerk hier eigentlich für ein Punkteniveau von mir haben will.
Das Problem ist meiner Ansicht nach, dass OPD Jurieren anders funktioniert als Notenvergabe in Schule und Uni. Ich habe keinen klar ausdifferenzierten Erwartungshorizont, sondern eine vage Zuordnung, die besagt: “kaum Schwächen erkennbar” –> 1 und “Stärken überwiegen” –> 2.
Wenn ich jetzt aber keine Referenzwerte habe, ist es schwer zu sagen welcher Kategorie eine Leistung zugeordnet werden sollte.
Daher denke ich, dass Aussagen zu Referenzwerten/Erwartungswerten tatsächlich helfen würden.
Zum Beispiel zu einer DDM, wo die Sample Size ja groß genug sein müsste um statistische Aussagen zu treffen.
Würdet ihr erwarten, dass die beste Rede auf einer DDM eigentlich bei 75+-5 Punkten liegen sollte anstatt bei 60+-5 Punkte. Und das bei einer DDM in ein oder zwei Reden die Situation auftritt, dass in einer Kategorie mal 17 oder 18 Punkte vergeben werden?
Ich denke ein solcher Erwartungshorizont wäre wichtig den Jurierenden an die Hand zu geben. Zum Beispiel:
“Nach unserem Verständnis der Schulnotenskala würden wir erwarten, dass bei einer DDM das Tab ungefähr im Bereich 70 bis 30 Punkte liegt, mit einzelnen Reden im Bereich 80 und 25.”
Hey Tim,
erstmal ich antworte hier privat, weil ich meinen Kommentar nicht vorher mit der RK abgestimmt habe.
Ich glaube meine Einschätzung wäre dass auf eigentlich jedem größeren Turnier (sagen wir mal ab 8 Räumen, mit min 4 Vorrunden) zu erwarten ist, dass mindestens 2 Reden in mindestens einer Kategorie über 15 Punkte scoren. Ich habe persönlich ungefähr 5-10x in meiner Jurierkarriere bei einer Rede in mindestens einer Kategorie über 15 Punkte vergeben. Meistens war das in Finals bei unfassbar lustigen Reden in Kontaktfähigkeit.
Ich glaube es ist sehr schwer zu sagen, welchen Punkteschnitt der oder die Top of the Tab bei einer DDM haben sollte. Schließlich ist es auch themenabhängig bzw. abhängig davon, dass man mal in einer Runde (auf gut Deutsch) verkackt und ich der nächsten brilliert. Aber ich würde erwarten, dass die Top 10 Redner:innen auf einer DDM im Schnitt zwischen 58 und 65 Punkten bewegen. Die beste Rede des ganzen Turniers (von der es wahrscheinlicher ist, dass sie in den Outrounds gehalten wird) sollte auf einem sehr gut besetzten Turnier an der 70 kratzen oder sie überschreiten.
(Bitte nehmt diese Einschätzung als Diskussiongrundlage und nicht als “so sei es”)
Eure Analyse zeigt doch, dass wir seit 2021 eine hübsche, zumindest im Durchschnitt konsistente Eichung haben. Der relevante Bereich ist dann eben 35 bis 60, da ist ja genug Raum zum Differenzieren.
Wieso wollt ihr dann jetzt unbedingt diese Schulnoten durchdrücken und damit die Eichung erstmal wieder kaputtmachen? Ich kann in Göttingen schon versuchen, zu interpretieren, was eine “strenge 2+” ist. (Vielleicht eine 1- in tatsächlichen Schulnoten? Eine 50 in der ganz alten Skala?) Aber davon auszugehen, dass alle das ähnlich interpretieren, halte ich für optimistisch. Das heißt wir kriegen wieder Chaos, bis genügend Leute zusammen Ausscheidungsrunden juriert haben und sich ein Konsens einstellt, welche Redeleistung welche Punktzahl wert ist.
Alternative: wir lassen die Skala in Ruhe und richten uns alle gemütlich im Bereich 35-60 ein, wie es ein Großteil der Szene ja offensichtlich getan hat.
Das halte ich für groben Unfug. Leider scheint mir die RK den Grund dafür, dass es aktuell alles wieder suboptimal wird, nicht wirklich erkannt zu haben.
Das Hauptproblem ist doch, dass eine Eichung konsistent sein muss. Und hier hast du mit deinem System ein großes Problem. Jemand, der neu anfängt zu Debattieren, muss jetzt irgendwie eine Intuition entwickeln, was wie viele Punkte sind. Auch jemand wie ich, der zwei Jahre kein OPD juriert hat kommt dann in eine Situation, in der völlig unklar ist, wie man denn bitte Punkte zu vergeben hat.
Das ist ja gerade der Vorteil am Schulnotensystem, jeder von uns kann damit was anfangen. Natürlich liegt auch unsere Wahrnehmung dessen ein bisschen auseinander, aber diesen Grad an Heterogenität halte ich für verkraftbar (vielleicht sogar befürwortenswert).
Leider macht die RK meiner Meinung nach schon wieder Kommunikationsfehler:
1) Die Begrifflichkeiten “Schwächen überwiegen” etc. sollten nicht angepasst, sondern gestrichen werden. Niemand bewertet doch je nach diesen Sätzen und das sollte auch so bleiben.
2) Genau definieren zu wollen, wie streng man zu sein hat (“strenge 2”) ist genauso ein Fehler. Wichtig wäre, es den Leuten einfach zu machen zu jurieren, in dem man eine anerkannte Skala nimmt, die jedem zugänglich ist.
Eine solche Skala würde übrigens auch in der Rechtfertigung von Punkten einiges machen. 7 Punkte in einer von Bekanntem völlig losgelösten Skala zu rechtfertigen ist viel einfach, als zu erklären, warum diese Leistung jetzt gerade mal eine 3- gewesen ist.
Ich plädiere dafür ganz streng bei jedem Turnier auf Schulnoten zu verweisen und an erfahrene Jurierende genau dieses System bei Nebenjurierenden einzufordern. “Völlig egal, was euch irgendein mittelerfahrener Idiot in eurem Club gesagt hat, die Regeln sind Schulnoten und so solltest du auch Punkten”
Ich würde auch sagen, wenn Schulnoten, dann richtig. Da stimme ich deiner Analyse ganz zu und das wäre meine zweite Wahl. Warum nur zweite?
a) Ich finde den Intuitivitätsvorteil selbst mit dieser konsistenteren Variante nicht so groß. Die wesentliche Schwierigkeit beim Jurieren ist, zu lernen, was die Szene für Maßstäbe an schlechte/mittelmäßige/gute/sehr gute Reden anlegt. Das dann auf eine Skala zu übersetzen, ist nicht das Ding. Aber da kann man sicher auch anderer Meinung sein.
b) Wenn jetzt die Eichung wieder aufgebrochen wird, kriegen wir halt mindestens ein halbes Jahr komische Ergebnisse. Das schließt insbesondere die DDM ein. Ich bin mir nach diesem Beitrag ernsthaft unsicher, wie ich in Göttingen bepunkten soll. Nach Schulnoten ist eine 1 (“sehr gut”) ja kein so großes Ding, also gehen wir jetzt auch mal auf 350 für die guten Teams? Nach Chiaras Interpretation wohl nicht, da ist dieses Niveau der besten Rede auf einem sehr gut besetzten Turnier vorbehalten. Man mag sich dann fragen, warum diese Rede immer noch keine nationale oder internationale Spitzenleistung (was ist der Unterschied?) darstellt.
Das wird sich natürlich mit der Zeit einrenken und wir werden wieder einen Konsens finden, wie was zu bepunkten ist. Aber die Übergangszeit, die 2017 meiner Erinnerung nach ganz schön lang war, könnte man sich auch sparen.
Ich halte eine 350 nicht für eine Punktzahl, die nicht zu erreichen sein sollte, gebe aber insgesamt zu bedenken, dass es schwer ist, in allem sehr gut zu sein. Wenn du es stochastisch verstehst, dann ist die Wahrscheinlichkeit für einzelne sehr gute Leistungen vielleicht bei 15-20%, aber das über drei Reden in allen Kategorien zu schaffen, schon eher unwahrscheinlich.
Was ich sehr schlecht beurteilen kann, ist, ob es gerade tatsächlich eine so gesetzte Eichung gibt. Haben alle gerade eine ähnliche Intuition über Punkthöhen? Wie du in Heidelberg gemerkt hast, war das mindestens bei mir nicht der Fall und ich weiß von einigen anderen bei denen das ebenfalls so ist (nicht nur Leute, die seit längerem kaum Turniere jurieren). Aber über die Gesamtsituation kann ich wenig sagen. Sollte das der Fall sein, verstehe ich deinen Einwand zur DDM gut. Allerdings stellt sich auch da für mich die Frage, wie du mit den bei DDMs oft vertretenen (und gewünschten) Jurierenden umgehst, die aktuell nicht mehr so aktiv in der Szene sind. Damit muss man nicht Leute meinen, die 12 Jahre raus sind, aber selbst bei 4 Jahren sind das Leute, die keine Einschätzung über heute “korrekte” Eichung mitbringen können.
In der Schule sind 1er ja keine Seltenheit und verlangen keine Perfektion. Die Abiturschnitte lagen 2021/2022 zwischen 2,04 und 2,28; unter Debattanten sicher deutlich höher. In BaWü erhielten 2021 4,8% der Schüler:innen eine 1,0 und 40,7% eine 1,x. Und in unserer Skala liegen, anders als in der Schule, über den 1ern noch zwei ganze Kategorien. Das heißt, es müsste für die Top-Teams schon gut machbar sein, eine rundum “sehr gute” Leistung abzuliefern. Wenn man diese Schulnoten ernstnimmt, kommt man also zu ganz anderen Ergebnissen als wir sie derzeit haben.
Zu der Frage, wie die Eichung im Moment ist: Ich habe in letzter Zeit nicht so viel OPD gemacht, kann das also nur mäßig gut beurteilen. Aber mein Eindruck war auf dem SK-Cup als Juror, dass meine Mitjuror:innen sogar noch zögerlicher waren als ich mit meinen Nicht-Schulnoten-Punkten. Und in Heidelberg sind wir als Team über 5 Vorrunden nur einmal in den Genuss schulnotiger Punkte gekommen (oder wir haben in den anderen Runden nichts über 2 verdient, das will ich nicht ausschließen). Die Leute, die mehr oder weniger nach Schulnoten jurieren (und die häufig übrigens sehr gute Juror:innen sind) scheinen mir aufgrund dieser Erfahrungen deutlich in der Minderheit zu sein.
Zur Integration erfahrener Juror:innen, die aus der Eichung raus sind: ich finde, das kann man im Wesentlichen lösen durch eine kurze Ansage, wie im Moment die Punkte verteilt werden. Oberer Rand ist 65, unterer Rand 30 (25 wenn man fies sein will), Mittelfeld 45, Top-Teams zufrieden ab 55. Das hilft mir (der ich ja auch schon selber in der Situation war) viel mehr als Schulnoten. Daneben glaube ich auch, dass man Juror:innen aus dieser Kategorie auf der DDM wenn möglich nicht sofort als Hauptjuror:innen mit unerfahrenen Wings setzen sollte, genau damit sie zumindest eine oder zwei Runden haben, um sich auf das Punkteniveau einzustellen.
(Die Zahlen zum Abitur haben sich übrigens über die letzten Jahre massiv verschoben. Im letzten Jahr zu dem ich Daten finde, 2014, erhielten 1,6% der Abiturient:innen in BaWü eine 1,0 und 25,8% eine 1,x. Tut nicht viel zur Sache, aber fand ich interessant.)
Ich scheine zugegeben ein wenig strenger als übliche Schulnoten zu sein (man beachte aber vielleicht auch einen veränderten Erwartungshorizont bei ausschließlich Studierenden), aber im großen bin ich fine damit. Sollte bei sehr guten Teams regelmäßig mal um die 350 Punkte geben können, wenn wohl auch nicht immer.
Ich finde die Punkte oberhalb von 15 sollte man zu 99,99 % der Fälle einfach ignorieren. Ich fühle mich hinreichend sicher (lies: arrogant), um sie vereinzelt zuversichtlich geben zu können, aber ich plädiere eigentlich dafür sie abzuschaffen, weil sie Dinge nur sehr kompliziert machen. Ich halte auch Chiaras Ausführungen dazu einfach für falsch (erneut persönliche Arroganz ;-)).
Eine Frage, die sich mir noch stellt, wenn ich dir folge, Jannis, wäre: Gibt es einen Grund zu glauben, dass die Skala sich in den nächsten Jahren nicht noch weiter verengt? Es scheint mir systemische Gründe dafür zu geben, dass das so sein könnte
Wie gut war die Eichung denn jetzt auf der CD Göttingen aus Sicht des CA/Tab Teams?
Bei uns waren die Punkte eigentlich sehr konstant. Erfahrene Juroren höher als Neuere. Und Feedback klang häufig nach höheren Noten als die Punkte, die es dann gab.
Das entspricht ungefähr dem, was ich auch vor der neueichung erwartet hätte. Vielleicht war das Punkteniveau etwas höher.
Ich schau mal ob CAs und Tab am WE eine Auswertung hinbekommen und melde mich dann nochmal 🙂