Danke Jan, für eine prägnante Problemanalyse der OPD-Jurierung, die gleichzeitig konstruktiv Vorschläge unterbreitet.
In meinen Augen geht das Problem der linken Kategorien noch viel weiter. Denn: Wie geht man vor, wenn ein Redner relativ unkonstante Leistungen während seiner Redezeit abliefert (das Problem hast du bereits erwähnt)? Oder weitergeführt: Was für eine Punktzahl in Sprachkraft vergebe ich als Juror, wenn er zwar eine super Intonation, aber extrem schlechte und unpassende Wortbilder verwendet? Ist dies aufgrund der ausgezeichneten Intonation immer noch besser als eine mittlere Leistung in Sprachkraft oder vielleicht sogar schlechter? Kann man überhaupt irgendwie unterschiedliche Teilbereiche einer Kategorie untereinander aufwiegen (was gerade Status Quo ist)? Letztendlich kommt ja dann doch wieder nur ein primitives Addieren einzelner Punkte zusammen, die unterm Strich vielleicht gar nicht zum Thema der Debatte passen (wie von dir schon problematisiert). Oder noch schlimmer: Sie obliegen der reinen Willkür der Juroren, was ja eigentlich durch ein möglichst objektives System in OPD ausgeschlossen werden sollte. Irgendwie erscheint mir der Anspruch der OPD hier etwas widersprüchlich, der eine Bewertung der ganzen Rede in allen möglichen Teilaspekten unterteilt nach objektiven Maßstäben anstrebt, dann aber in den Teilbereichen ein Konklomerat aus vielen Unterpunkten zusammenfasst, bei der die “Harmonisierung von Innen und Außen” (klingt wie irgendso eine transzendentale Esoteriknummer) absolut gemessen werden kann…
Was mir hingegen auch schon häufiger aufgefallen ist, ist, dass Juroren selten nach oben schauen und die meiste Zeit mit dem Blick auf ihrem Jurorbogen haften – ist ja auch irgendwie logisch, wenn sie darauf etwas notieren möchten. Nach oben schauen sie dann nur, wenn es vielleicht gerade inhaltlich nicht wirklich vorangeht – sei es wegen Stockens oder einfach nur aufgrund eines Übergangs von einem auf den nächsten Punkt – , also dann, wenn gerade auch wenig mit der Gestik zu untermalen ist. Was bringt es mir dann also als Redner, dass ich eine deutlich überdurschschnittliche Gestik in 6,5 Minuten meiner Rede an den Tag lege, wenn als Bewertungsmaßstab die 30 Sekunden zugrunde gelegt werden, in denen ich von Punkt 1 auf Punkt 2 und von Punkt 2 auf Punkt 3 überleitete und folglich in Auftreten auf demselben Punkteniveau herauskomme, wie mein Gegner, der konstant nur durchschnittlich gestikulierte? Kann man überhaupt von einer ganzheitlichen Bewertung der Rede sprechen, wenn man nicht die ganze Rede sowohl akustisch WIE AUCH OPTISCH verfolgt?
Und wenn es dann mal doch Unterschiede in den einzelnen Kategorien gibt, kommen diese vielleicht nicht manchmal auch dadurch zustande, dass (gerade auch die erfahrenen) Juroren sich manchmal auch auf Erfahrungswerte verlassen, bei Leuten, die sie schon kennen? Nach dem Motto: Der hält in der Regel überdurchschnittlich gute Reden, also wird er wohl auch in der Gestik überdurchschnittlich gewesen sein?
Vielleicht sollte man sich Gedanken machen, die Kategorien, die ja mit 40% der Bewertungspunkte alles andere als unwichtig sind, generell anders zu handhaben? Ich sage jetzt nicht, dass man sie wie bei (internationalem) BP fast ganz unter den Tisch fallen lassen sollte (was zwar eigentlich so auch nicht vorgesehen ist, aber de facto so gehandhabt wird). Aber vielleicht sind diese Kategorien dennoch zu stark im Vergleich zur Wahrscheinlichkeit einer Fehljurierung? Was wäre mit der Idee (sofern es genügend Juroren gibt), einzelne Aspekte der Rede auf unterschiedliche Juroren aufzuteilen, also bei zwei Juroren einer für die linken zwei oder drei und der andere für den Rest? Hätte zum Beispiel den Vorteil, dass man nicht ewig um einzelne (inhaltliche) Punkte streiten müsste, wodurch die Jurorenbesprechung zugunsten eines umfassenderen Feedbacks verkürzt werden könnte.
Egal wie es weitergeht, ich bin gespannt, welche Ideen und Meinungen noch herumschwirren. Ich hoffe jedenfalls, dass wir mittelfristig weitere Anpassungen und Feinjustierungen im Regelwerk sehen dürfen, wie wir sie in der Vergangenheit (zwar nicht immer zum Besseren: Adieu Generalopposition, hallo Privilegfrage 😉 ) auch schon immer hatten.
Ein schöner Artikel, der sich mit wichtigen Dingen auseinandersetzt!
Tatsächlich denke ich aber wie Johannes auch, dass Juroren wesentlich mehr optisch der Debatte folgen müssen – wenigstens die Hälfte der Zeit wäre angemessen statt den hier verhandelten 30 Sekunden. Natürlich kann man dann nicht jedes einzelne Wort rechts mitschreiben, aber auch wenn man nur 2 Sekunden kurz auf sein Blatt sieht sollte man in der Lage sein, sich die relevanten Dinge zu vermerken (und sei es auch mit einem Wort mit + dahinter). Die linken Kategorien machen wie festgestellt 40% der Bewertung aus und auf die Kontaktfähigkeit kann man nur dann wirklich bewerten, wenn man den Redenden lange richtig zusieht. In OPD gewinnt eben gerade nicht nur das Team, dessen Argumente am Ende am Ende stehen blieben, sondern das, dass insgesamt am Überzeugendsten war – und darum muss die Jurierung in allen Kategorien gleich gewichtet werden. Vielen Dank daher für diesen Artikel!
Im Übrigen ist die Privilegfrage meiner Ansicht nach ein sinnvoller Teil des Regelwerks, der glücklicherweise nie genutzt werden muss – wenn aber doch wäre ich froh, sie zu haben.
Eine Zweiteilung in einen Juror für die linken und einen Juror für die rechten Kategorien halte ich für nicht sinnvoll, da es gerade in der Urteilskraft auch öfters Redebedarf gibt und es somit den Rednern gegenüber nur fair ist, wenn mehr als eine Person hier Punkte verteilt und diese im Jurorengespräch begründet.
Allerdings wäre das doch eine Idee, um den Präsidenten aufzuwerten: Dieser macht sich zusätzlich zu den Notizen zu Zwischenfragen und -rufen auch Notizen zu Gestik und Kontaktfähigkeit – er muss sowieso die ganze Zeit nach vorne gucken und hat deutlich weniger aufzuschreiben als die Juroren. Die Entscheidung treffen dann nach wie vor die Juroren, aber sie können die Notizen in ihre Ergebnisse einfließen lassen, genauso wie bei den Zwischenfragen.
Ein sehr guter und sehr wichtiger Artikel, den jeder, der OPD juriert gelesen haben sollte.
Johannes Anmerkung, dass die Gefahr besteht, dass bei einem dem Juroren bekannten Redner die Gefahr einer sich selbst erfüllende Prophezeiung durch die gewohnheitsmäßige hohe Bepunktung besteht, kann ich verstehen. Unerfahrene Juroren trauen sich seltener bei sehr erfolgreichen und bekannten Rednern eine niedrige Punktzahl anzusetzen aus Sorge vor einem schlechten Leumund. Andererseits existiert die Möglichkeit, dass sich bei einem schon oft gehörten, soliden Redner sich die Gefahr einschleicht ihm gewohnheitsmäßig hohe Punkte zu geben. Deshalb müssen sich alle Juroren vor der Debatte klar machen, dass nur diese Debatte zählt.
Jans Punkt bezüglich der geringeren Spannweite bei der Punktevergabe in OPD kann ich nachvollziehen, da ich selbst die OPD-Punkteskala mit der Punktvergabe bei den Abinoten vergleiche und es sehr schwer zu begründen ist, warum die Note 1 (also ab 13 Punkte) fehlt. Die Kriterien für eine sehr hohe Punktzahl sind auch nachvollziehbar. Das Geben von konstruktiven Feedback, das innerhalb eines Turnieres angewendet werden kann, fällt aber in den Sphären von ab 11 Punkten schon relativ schwer, da es sich hier meistens um Verbesserungen auf sehr hohen Niveau handelt. Dies könnten Bereiche wie Atemtechnik, Sprachweise, Einsatz von schauspielerischen Mitteln abdecken. Solche Feinjustierungen auf Champions-League-Niveau wäre dann eine Angelegenheit von Logopäden, Schauspieltrainern und Rhetoriktrainern (wobei ja viele Debattierer so einen Berufsweg einschlagen ;)). Das Feedback in solchen Sphären müsste dann eher beratend darauf angelegt sein, was ein Redner mit professioneller Hilfe noch verbessern könnte.
zwingend den Redner anschauen muss ich eigentlich nur, um die Kategorie Auftreten zu bewerten. Sprachkraft kann ich auch in völliger Dunkelheit bewerten (lange wurde ja auch der Vergleich des ausgeschalteten Bildes im Fernseher bemüht, um die Trennung dieser beiden Kategorien klar zu machen) und Kontaktfähigkeit hat im Teilbereich “Bezogenheit auf den Adressaten der Überzeugung” in der Tat auch ein auftrittsnahes Element, umfasst jedoch darüber hinaus noch wesentlich mehr als nur das (nicht umsonst wird sie auch immer als Mischelement zwischen “links” und “rechts” bezeichnet). In Anbetracht der Tatsache, dass die nach der Debatte zu bewertenden Strategie- und Interaktionselemente wohl ebenfalls einen höheren sprachlichen und inhaltlichen als einen Auftrittanteil haben, empfinde ich die von Jan in den Raum geworfene Minute reines “Hochschauen” als völlig gerechtfertigt. Es mag nur mir so gehen, aber würde ich die Hälfte der Debatte nicht Inhalt mitschreiben und Anmerkungen zu den Kategorien notieren, würde ich mich kaum in der Lage fühlen, im Anschluss eine Debatte von einer Stunde Länge in der Komplexität zu bewerten, in der sie (hoffentlich) stattgefunden hat.
Liebe Andrea,
dass vorallem das Auftreten auch optisch zählt ist natürlich klar, aber gerade das muss ja in Stimmigkeit mit dem Gesagten stehen, um insgesamt Authentizität zu erzeugen. Gesten alleine sollten keine Punkte geben sondern nur dann, wenn sie mit dem Gesagten harmonieren – das Gesagte hingegen hört man (hoffentlich) immer, aber vielleicht muss man hier zwischen Hören auf der inhaltlichen Ebene und Hören auf der Sprachkraft-Ebene unterscheiden. Es ist ja gerade der Unterschied ob der Juror darauf achtet, was derjenige sagt und wie er es sagt. Und zum wie scheinen oft Notizen zu fehlen, obwohl so viel geschrieben wird. Da finde ich den Punkt des Artikels schon sehr richtig, dass man in einer Minute Konzentration auf Links eben einfach nur einen Bruchteil mitbekommt. Ich kann auf keine solche Juriererfahrung zurückgreifen wie du und habe auch noch nie eine Debatte mit Top-Teams juriert, doch zumindest mich Anfänger beschlich der Eindruck, dass es den Leuten gegenüber gerechter ist, ihnen auch möglichst viel zuzusehen (und auf die Sprache zu achten). Allerdings halte ich auch schreiben und zusehen für keinen Widerspruch – zwei, drei Stichworte pro Argument schafft man auch so aufzuschreiben, was zumindest mir bislang gegenüber wörtlichen Zitat-Mitschrieben meist ebenso ausreichend erschien. Vielleicht bin ich hier aber auch einfach noch viel zu unerfahren – dennoch halte ich es bislang für machbar, sowohl viel hinzuschauen als auch dabei viel zu notieren (und das nicht nur rechts).
Letztlich ist zur Entscheidung eines schlechten oder guten Bildes (also etwas aus den linken Kategorien) ja eine Rückkopplung mit den rechten Kategorien (z.B. Sachverstand) absolut notwendig.
Als ich mich vor 2 Jahren intensiver mit OPD-Entscheidungsfindungen auseinander setzte, fanden sich auf meinen Jurierbögen daher auch immer Pfeile als Querverweis zwischen den Rubriken.
(ein weiterers Indiz für mich, dass ein “guter” Jurierbogen als einzige Einteilung ein Kreuz braucht *scnr*)
Ein kleiner Kritikpunkt an Jans sehr gutem Feature.
Eine “Verwendung negativ besetzter Begriffe für die eigene Seite” ist nicht per se schlecht, bedarf aber als wahrscheinliche paradoxe und/oder für die zu verteidigende Betroffenengruppe (stakeholder) sinnvolle Argumentation eine ausführlichere Unterstützung durch “rechts”.
Siehe dazu auch Andreas sehr guten Beitrag warum das Verfolgen der Argumente entscheidend ist.
Und als letztes und nicht wirklich weiter zu betreibenden Nebenkriegsschauplatz, ist imho der Glauben an den absoluten Charakter der OPD-Bewertung eine Lebenslüge der Freunde dieses Formats.
Stichwort: Wie die Chefjuroren (CAs) in einem Panel Hoch und Niedrigpunkter ausgleichen.
P.S.: Für die Verwendung nicht-deutscher Begriffe und Abkürzungen möchte ich mich bei allen Lesenden, die es gestört haben sollte, entschuldigen.
Danke für Eure hilfreichen Ergänzungen 🙂
Natürlich sind die von Andrea und Jan F. ins Blickfeld gerückten rechten Kategorien von ebenso großer Bedeutung, und Notizen hierzu sind unumgänglich. Die Querverweise, die Jan hervorhebt habe ich auch – sie bestehen aber in beide Richtungen. Ein noch so inhaltlich starkes Argument wirkt nicht überzeugend, wenn es sprachlich bei mir nicht ankommt oder durch die Gestik zum Ausdruck gebracht wird, dass dieses Argument den Redner selbst nicht überzeugt. Negativ bewertet werden derartige Fälle aber dennoch nicht im Sachverstand, sondern “links” – die Ursache des Problems spiegelt sich also in der Punkteverteilung wieder und die Grenzen zwischen den Kategorien werden durch die Querverweise nicht aufgehoben.
Dass in Ausnahmefällen negativ besetzte Begriffe positiv gewendet werden können ist sicher richtig – es dürfte aber nur in sehr wenigen Fällen besser sein, als direkt positiv besetzte Begriffe für die eigene Seite zu verwenden. In diesen Ausnahmefällen ist aber das allgemeine Schema natürlich (wie allgemein dargelegt) an die Debatte anzupassen.
In vielen – insbesondere hochwertigen – Debatten ist es nicht möglich, deutlich mehr als 30 Sekunden am Stück hochzublicken. Andernfalls ist zu viel Inhalt “nachzutragen”. Daher mein Vorschlag, zumindest zweimal in 7 Minuten derartige Blöcke einzuschieben zu versuchen. Das hält aber natürlich nicht davon ab, während des Mitschreibens auch bewusst auf die Einzelelemente der Sprachkraft-Ebene zu achten, wie Lennart es hervorhebt, und hierzu Notizen zu machen. Was als Dilemma bleibt, sind die optischen Bestandteile, d.h.Auftreten und in gewissem Rahmen Kontaktfähigkeit. Hier ist eine Minute nicht viel. Natürlich wird man während des Schreibens hoffentlich auch sekundenweise sonst aufblicken – Lücken in der Wahrnehmung ließen sich aber nur dann vermeiden, wenn Juroren (i) blind mitschreiben, (ii) nicht mitschreiben oder (iii) sich zeitlich abstimmen, damit jeweils mindestens ein Juror aufblickt. (i) erscheint mir unrealistisch, (ii) sehe ich ja auf links gerade als Problem (das wir dann auch auf rechts ausdehnen würden) und (iii) ginge nur bei größeren und gut organisierten Panels. Diese Ungerechtigkeit in der Bewertung des Auftretens lässt sich wohl nicht abstellen. Sie tritt (wenn auch in geringerem Maße) ähnlich auch bei anderen Kategorien zu Tage, wenn Juroren z.B. Argumente nicht wahrnehmen oder vergessen aufzuschreiben und nicht in die Bewertung einbeziehen.
Wie von Christian angesprochen ist konstruktives Feedback bei guten Rednern schwer. Durch die Unterteilung etwa der Sprachkraft in verschiedene Unterkategorien (z.B. Modulation bei Lautstärke und Tempo, Wortahl,…) habe ich aber den Eindruck, auch bei 11 und 12 Punkten in Sprachkraft noch etwas zum Mäkeln zu finden. Ein Juror muss es ja nicht selbst besser können, um dem Redner zu zeigen wo noch Verbesserungsbedarf besteht 😉 Ab 13-14 Punkten wird es aber wirklich schwierig – zwar “fühlt” der Juror hier, ob mehr als 13 angemessen ist. Das zu begründen ist aber schwer. Auch das gilt aber aus meiner Sicht für alle Kategorien: Wie jemand bei SV oder Urteilskraft von 13 auf 15 kommen soll kann ich im Feedback kaum darlegen.
Zum Nebenkriegsschauplatz: Das Ausgleichen von Hoch- und Niedrigpunktern spricht m.E. nicht gegen eine absolute Punkteskala: jeder Einzelne der Juroren wendet nämlich (wenn er seine Arbeit richtig macht) tatsächlich eine absolute Punkteskala an, d.h. jeder Juror gibt auch bei guten Debatten in der Bewertung klar zu erkennen, dass alle Redner weiterhin Raum nach oben (oder unten) haben. Die nicht von der Hand zu weisende Differenz zwischen den Punkteskalen verschiedener Juroren ist ein Nachteil des absoluten Punktesystems, hebt dieses aber nicht auf.
Das Problem dabei ist für mich, dass die eigenen Notizen in der Debatte auch die Vorbereitungen für Jurorenbesprechung und Feedback sind. Sicher kann ich den ungefähren Inhalt des Arguments in zwei, drei Stichwörtern nachvollziehen – doch meine Aufgabe ist es ja, das Gesagte nicht nur wiedergeben zu können, sondern gleichzeitig auch in Bezug auf Relevanz, Qualität und Aufbau zu evaluieren. Nach der einzelnen, gerade gehaltenen Rede mag das im Kopf gehen, wenn man jedoch zum Feedback zum, sagen wir, ersten Redner der Opposition kommt, ist dessen Rede nicht selten fast anderthalb Stunden her und überlagert von sieben weiteren Reden und einer Jurorenbesprechung. Habe ich auf meinem Zettel nur stehen „Schäden für die Wale durch Schallwellen“ und ein minus dahinter, dann ist es schwer, nachzuvollziehen, was genau mir daran nicht gefallen hat, genauso wie ich dem Redner nur sagen kann: „schöne, treffende Wortwahl“ ohne ihm (und damit auch den anderen Rednern der Debatte) ein rechtfertigendes Beispiel dazu geben zu können. Das Feedback wird sozusagen flacher, weil es ohne Spezifika auskommen muss. Sich z. Bsp. nur aus dem Kopf daran zu erinnern, wo der „Aufbaufehler“ war, den man sich auf dem Zettel notiert hat, kann gerade in guten Debatten, wo es um Kleinigkeiten geht, in unschöne Reaktionen der Redner ausarten, umso mehr, wenn ihnen aufgefallen ist, dass man die Hälfte der Zeit kaum Dinge notiert hat – für viele Redner ein nicht unwesentliches Indiz, dass ihnen richtig zugehört wurde. Kaum mitzuschreiben ruft übrigens meiner Erfahrung nach in einem Redner, der gerade ein für sich wichtiges Argument bringt, in den meisten Fällen eher Irritation als das Gefühl „Der hört mir gerade richtig zu“ hervor – und gerade dieses Gefühl ist wichtig, damit die Redner bereit sind, Bewertung und Feedback anzunehmen (s. Bierflaschendiskussion).
Ich glaube deswegen, dass die Wichtigkeit, dem Redner aus der Position des Zuschauers einfach mal ein paar Minuten ruhig zuzuschauen/hören, um seine generelle Wirkung zu beurteilen, hinter der Jurorenaufgabe zurücksteht, den eigenen subjektiven Eindruck auf objektive Kriterien zu stellen und das dann auch den Rednern vermitteln zu können. Ich glaube nicht, dass es in Anbetracht der Vielzahl der zu bewertenden und potentiell zu feedbackenden Kategorien genug Kapazitäten für beides gibt – und deswegen glaube ich auch nicht, dass deine vorgeschlagene Lösung praktikabel ist. Das heißt nicht, dass ich den Status Quo als perfekt empfinde – aber ich glaube, er ist die bestmögliche Lösung, um jeder Kategorie ihre Aufmerksamkeit zukommen zu lassen und gleichzeitig seinen Job als Juror und Feedbackgeber erfüllen zu können.
Lieber Jan
danke für einen weiteren zu diskutierenden Sachverhalt:
Wie bewertet man Redner, deren Vermögen deutlich über dem eigenen liegt?
Dazu wieder ein Beispiel aus meiner einigermaßen langen Jurorenkarriere (Start DDM 2010), die aber deutlich(er) BPesk (Antrag auf WORT des Jahres) geprägt ist.
Ich stellte damals erfahrenen Rednern die Frage, wie ich Punkte um und besonders jenseits der 80 (anderes Format, gleiches Problem !!!) vergeben kann, als mein damaliger Rekord bei 2 Reden um die 77 lag.
Allgemeiner gesagt, nach oben wurde und wird es mir mangels eigenem Talent zu nebulös.
Inzwischen rede ich, wenn ich mich anstrenge meist um die 77, die 80er-Marke habe ich einmal geknackt, jetzt ist der “nebulöse Raum” eben ein wenig höher angesiedelt, aber immer noch vorhanden.
En passant hast Du imo mit (iii) eine Idee aufgeworfen, die sich CAs auf Turnieren in beiden! Formaten mal überlegen könnten:
Wie wäre es im Verlauf der Vorrunden mit FESTEN Panels?
Dadurch sollte in späteren Vorrunden die Zusammenarbeit besser sein. Man könnte bereits im Vorfeld und auf turnierübergreifende Sicht in der Anmeldung z.B. die Frage vorgeben “Mit wem jurierst Du gerne zusammen?”
Eventuelle Schwächen und Nachteile dieses Systems:
Das Evaluieren von neuen, talentierten Juroren.
Langeweile: Als Redner will man ja auch sich auf Turnieren mit VERSCHIEDENEN Teams messen, als Juror besteht dieser Wunsch der Diversifikation sicher auch.
Sperrungen: Ob von den CAs gewollt (Juror und Team vom gleichen Club ) oder den Rednern (diese Nase juriert uns immer in Grund und Boden) sind nun organisatorich ein wenig schwieriger.
Nebenkriegsschauplatz:
Wenn jeder eine eigene absolute Skala hat, relativiert das diese dann nicht? 😉
Und nein, mitteln ist keine inhatliche “Jurierleistung” sondern eine mathematische die Diskrepanzen in den unterschiedlichen Wahrnehmungen des Rede eher verschleiert statt offenlegt.
Schöner Artikel. Danke, Jan!
Endlich stößt mal einer zumindest in Teilen die Debatte an, was man denn von einer guten Rede erwarten darf/muss!
Ansonsten gilt, was Tobi bereits gesagt hat 😉
Danke Jan, für eine prägnante Problemanalyse der OPD-Jurierung, die gleichzeitig konstruktiv Vorschläge unterbreitet.
In meinen Augen geht das Problem der linken Kategorien noch viel weiter. Denn: Wie geht man vor, wenn ein Redner relativ unkonstante Leistungen während seiner Redezeit abliefert (das Problem hast du bereits erwähnt)? Oder weitergeführt: Was für eine Punktzahl in Sprachkraft vergebe ich als Juror, wenn er zwar eine super Intonation, aber extrem schlechte und unpassende Wortbilder verwendet? Ist dies aufgrund der ausgezeichneten Intonation immer noch besser als eine mittlere Leistung in Sprachkraft oder vielleicht sogar schlechter? Kann man überhaupt irgendwie unterschiedliche Teilbereiche einer Kategorie untereinander aufwiegen (was gerade Status Quo ist)? Letztendlich kommt ja dann doch wieder nur ein primitives Addieren einzelner Punkte zusammen, die unterm Strich vielleicht gar nicht zum Thema der Debatte passen (wie von dir schon problematisiert). Oder noch schlimmer: Sie obliegen der reinen Willkür der Juroren, was ja eigentlich durch ein möglichst objektives System in OPD ausgeschlossen werden sollte. Irgendwie erscheint mir der Anspruch der OPD hier etwas widersprüchlich, der eine Bewertung der ganzen Rede in allen möglichen Teilaspekten unterteilt nach objektiven Maßstäben anstrebt, dann aber in den Teilbereichen ein Konklomerat aus vielen Unterpunkten zusammenfasst, bei der die “Harmonisierung von Innen und Außen” (klingt wie irgendso eine transzendentale Esoteriknummer) absolut gemessen werden kann…
Was mir hingegen auch schon häufiger aufgefallen ist, ist, dass Juroren selten nach oben schauen und die meiste Zeit mit dem Blick auf ihrem Jurorbogen haften – ist ja auch irgendwie logisch, wenn sie darauf etwas notieren möchten. Nach oben schauen sie dann nur, wenn es vielleicht gerade inhaltlich nicht wirklich vorangeht – sei es wegen Stockens oder einfach nur aufgrund eines Übergangs von einem auf den nächsten Punkt – , also dann, wenn gerade auch wenig mit der Gestik zu untermalen ist. Was bringt es mir dann also als Redner, dass ich eine deutlich überdurschschnittliche Gestik in 6,5 Minuten meiner Rede an den Tag lege, wenn als Bewertungsmaßstab die 30 Sekunden zugrunde gelegt werden, in denen ich von Punkt 1 auf Punkt 2 und von Punkt 2 auf Punkt 3 überleitete und folglich in Auftreten auf demselben Punkteniveau herauskomme, wie mein Gegner, der konstant nur durchschnittlich gestikulierte? Kann man überhaupt von einer ganzheitlichen Bewertung der Rede sprechen, wenn man nicht die ganze Rede sowohl akustisch WIE AUCH OPTISCH verfolgt?
Und wenn es dann mal doch Unterschiede in den einzelnen Kategorien gibt, kommen diese vielleicht nicht manchmal auch dadurch zustande, dass (gerade auch die erfahrenen) Juroren sich manchmal auch auf Erfahrungswerte verlassen, bei Leuten, die sie schon kennen? Nach dem Motto: Der hält in der Regel überdurchschnittlich gute Reden, also wird er wohl auch in der Gestik überdurchschnittlich gewesen sein?
Vielleicht sollte man sich Gedanken machen, die Kategorien, die ja mit 40% der Bewertungspunkte alles andere als unwichtig sind, generell anders zu handhaben? Ich sage jetzt nicht, dass man sie wie bei (internationalem) BP fast ganz unter den Tisch fallen lassen sollte (was zwar eigentlich so auch nicht vorgesehen ist, aber de facto so gehandhabt wird). Aber vielleicht sind diese Kategorien dennoch zu stark im Vergleich zur Wahrscheinlichkeit einer Fehljurierung? Was wäre mit der Idee (sofern es genügend Juroren gibt), einzelne Aspekte der Rede auf unterschiedliche Juroren aufzuteilen, also bei zwei Juroren einer für die linken zwei oder drei und der andere für den Rest? Hätte zum Beispiel den Vorteil, dass man nicht ewig um einzelne (inhaltliche) Punkte streiten müsste, wodurch die Jurorenbesprechung zugunsten eines umfassenderen Feedbacks verkürzt werden könnte.
Egal wie es weitergeht, ich bin gespannt, welche Ideen und Meinungen noch herumschwirren. Ich hoffe jedenfalls, dass wir mittelfristig weitere Anpassungen und Feinjustierungen im Regelwerk sehen dürfen, wie wir sie in der Vergangenheit (zwar nicht immer zum Besseren: Adieu Generalopposition, hallo Privilegfrage 😉 ) auch schon immer hatten.
Ein schöner Artikel, der sich mit wichtigen Dingen auseinandersetzt!
Tatsächlich denke ich aber wie Johannes auch, dass Juroren wesentlich mehr optisch der Debatte folgen müssen – wenigstens die Hälfte der Zeit wäre angemessen statt den hier verhandelten 30 Sekunden. Natürlich kann man dann nicht jedes einzelne Wort rechts mitschreiben, aber auch wenn man nur 2 Sekunden kurz auf sein Blatt sieht sollte man in der Lage sein, sich die relevanten Dinge zu vermerken (und sei es auch mit einem Wort mit + dahinter). Die linken Kategorien machen wie festgestellt 40% der Bewertung aus und auf die Kontaktfähigkeit kann man nur dann wirklich bewerten, wenn man den Redenden lange richtig zusieht. In OPD gewinnt eben gerade nicht nur das Team, dessen Argumente am Ende am Ende stehen blieben, sondern das, dass insgesamt am Überzeugendsten war – und darum muss die Jurierung in allen Kategorien gleich gewichtet werden. Vielen Dank daher für diesen Artikel!
Im Übrigen ist die Privilegfrage meiner Ansicht nach ein sinnvoller Teil des Regelwerks, der glücklicherweise nie genutzt werden muss – wenn aber doch wäre ich froh, sie zu haben.
@Johannes:
Eine Zweiteilung in einen Juror für die linken und einen Juror für die rechten Kategorien halte ich für nicht sinnvoll, da es gerade in der Urteilskraft auch öfters Redebedarf gibt und es somit den Rednern gegenüber nur fair ist, wenn mehr als eine Person hier Punkte verteilt und diese im Jurorengespräch begründet.
Allerdings wäre das doch eine Idee, um den Präsidenten aufzuwerten: Dieser macht sich zusätzlich zu den Notizen zu Zwischenfragen und -rufen auch Notizen zu Gestik und Kontaktfähigkeit – er muss sowieso die ganze Zeit nach vorne gucken und hat deutlich weniger aufzuschreiben als die Juroren. Die Entscheidung treffen dann nach wie vor die Juroren, aber sie können die Notizen in ihre Ergebnisse einfließen lassen, genauso wie bei den Zwischenfragen.
Ein sehr guter und sehr wichtiger Artikel, den jeder, der OPD juriert gelesen haben sollte.
Johannes Anmerkung, dass die Gefahr besteht, dass bei einem dem Juroren bekannten Redner die Gefahr einer sich selbst erfüllende Prophezeiung durch die gewohnheitsmäßige hohe Bepunktung besteht, kann ich verstehen. Unerfahrene Juroren trauen sich seltener bei sehr erfolgreichen und bekannten Rednern eine niedrige Punktzahl anzusetzen aus Sorge vor einem schlechten Leumund. Andererseits existiert die Möglichkeit, dass sich bei einem schon oft gehörten, soliden Redner sich die Gefahr einschleicht ihm gewohnheitsmäßig hohe Punkte zu geben. Deshalb müssen sich alle Juroren vor der Debatte klar machen, dass nur diese Debatte zählt.
Jans Punkt bezüglich der geringeren Spannweite bei der Punktevergabe in OPD kann ich nachvollziehen, da ich selbst die OPD-Punkteskala mit der Punktvergabe bei den Abinoten vergleiche und es sehr schwer zu begründen ist, warum die Note 1 (also ab 13 Punkte) fehlt. Die Kriterien für eine sehr hohe Punktzahl sind auch nachvollziehbar. Das Geben von konstruktiven Feedback, das innerhalb eines Turnieres angewendet werden kann, fällt aber in den Sphären von ab 11 Punkten schon relativ schwer, da es sich hier meistens um Verbesserungen auf sehr hohen Niveau handelt. Dies könnten Bereiche wie Atemtechnik, Sprachweise, Einsatz von schauspielerischen Mitteln abdecken. Solche Feinjustierungen auf Champions-League-Niveau wäre dann eine Angelegenheit von Logopäden, Schauspieltrainern und Rhetoriktrainern (wobei ja viele Debattierer so einen Berufsweg einschlagen ;)). Das Feedback in solchen Sphären müsste dann eher beratend darauf angelegt sein, was ein Redner mit professioneller Hilfe noch verbessern könnte.
Lieber Lennart,
zwingend den Redner anschauen muss ich eigentlich nur, um die Kategorie Auftreten zu bewerten. Sprachkraft kann ich auch in völliger Dunkelheit bewerten (lange wurde ja auch der Vergleich des ausgeschalteten Bildes im Fernseher bemüht, um die Trennung dieser beiden Kategorien klar zu machen) und Kontaktfähigkeit hat im Teilbereich “Bezogenheit auf den Adressaten der Überzeugung” in der Tat auch ein auftrittsnahes Element, umfasst jedoch darüber hinaus noch wesentlich mehr als nur das (nicht umsonst wird sie auch immer als Mischelement zwischen “links” und “rechts” bezeichnet). In Anbetracht der Tatsache, dass die nach der Debatte zu bewertenden Strategie- und Interaktionselemente wohl ebenfalls einen höheren sprachlichen und inhaltlichen als einen Auftrittanteil haben, empfinde ich die von Jan in den Raum geworfene Minute reines “Hochschauen” als völlig gerechtfertigt. Es mag nur mir so gehen, aber würde ich die Hälfte der Debatte nicht Inhalt mitschreiben und Anmerkungen zu den Kategorien notieren, würde ich mich kaum in der Lage fühlen, im Anschluss eine Debatte von einer Stunde Länge in der Komplexität zu bewerten, in der sie (hoffentlich) stattgefunden hat.
Liebe Andrea,
dass vorallem das Auftreten auch optisch zählt ist natürlich klar, aber gerade das muss ja in Stimmigkeit mit dem Gesagten stehen, um insgesamt Authentizität zu erzeugen. Gesten alleine sollten keine Punkte geben sondern nur dann, wenn sie mit dem Gesagten harmonieren – das Gesagte hingegen hört man (hoffentlich) immer, aber vielleicht muss man hier zwischen Hören auf der inhaltlichen Ebene und Hören auf der Sprachkraft-Ebene unterscheiden. Es ist ja gerade der Unterschied ob der Juror darauf achtet, was derjenige sagt und wie er es sagt. Und zum wie scheinen oft Notizen zu fehlen, obwohl so viel geschrieben wird. Da finde ich den Punkt des Artikels schon sehr richtig, dass man in einer Minute Konzentration auf Links eben einfach nur einen Bruchteil mitbekommt. Ich kann auf keine solche Juriererfahrung zurückgreifen wie du und habe auch noch nie eine Debatte mit Top-Teams juriert, doch zumindest mich Anfänger beschlich der Eindruck, dass es den Leuten gegenüber gerechter ist, ihnen auch möglichst viel zuzusehen (und auf die Sprache zu achten). Allerdings halte ich auch schreiben und zusehen für keinen Widerspruch – zwei, drei Stichworte pro Argument schafft man auch so aufzuschreiben, was zumindest mir bislang gegenüber wörtlichen Zitat-Mitschrieben meist ebenso ausreichend erschien. Vielleicht bin ich hier aber auch einfach noch viel zu unerfahren – dennoch halte ich es bislang für machbar, sowohl viel hinzuschauen als auch dabei viel zu notieren (und das nicht nur rechts).
Letztlich ist zur Entscheidung eines schlechten oder guten Bildes (also etwas aus den linken Kategorien) ja eine Rückkopplung mit den rechten Kategorien (z.B. Sachverstand) absolut notwendig.
Als ich mich vor 2 Jahren intensiver mit OPD-Entscheidungsfindungen auseinander setzte, fanden sich auf meinen Jurierbögen daher auch immer Pfeile als Querverweis zwischen den Rubriken.
(ein weiterers Indiz für mich, dass ein “guter” Jurierbogen als einzige Einteilung ein Kreuz braucht *scnr*)
Ein kleiner Kritikpunkt an Jans sehr gutem Feature.
Eine “Verwendung negativ besetzter Begriffe für die eigene Seite” ist nicht per se schlecht, bedarf aber als wahrscheinliche paradoxe und/oder für die zu verteidigende Betroffenengruppe (stakeholder) sinnvolle Argumentation eine ausführlichere Unterstützung durch “rechts”.
Siehe dazu auch Andreas sehr guten Beitrag warum das Verfolgen der Argumente entscheidend ist.
Und als letztes und nicht wirklich weiter zu betreibenden Nebenkriegsschauplatz, ist imho der Glauben an den absoluten Charakter der OPD-Bewertung eine Lebenslüge der Freunde dieses Formats.
Stichwort: Wie die Chefjuroren (CAs) in einem Panel Hoch und Niedrigpunkter ausgleichen.
P.S.: Für die Verwendung nicht-deutscher Begriffe und Abkürzungen möchte ich mich bei allen Lesenden, die es gestört haben sollte, entschuldigen.
Danke für Eure hilfreichen Ergänzungen 🙂
Natürlich sind die von Andrea und Jan F. ins Blickfeld gerückten rechten Kategorien von ebenso großer Bedeutung, und Notizen hierzu sind unumgänglich. Die Querverweise, die Jan hervorhebt habe ich auch – sie bestehen aber in beide Richtungen. Ein noch so inhaltlich starkes Argument wirkt nicht überzeugend, wenn es sprachlich bei mir nicht ankommt oder durch die Gestik zum Ausdruck gebracht wird, dass dieses Argument den Redner selbst nicht überzeugt. Negativ bewertet werden derartige Fälle aber dennoch nicht im Sachverstand, sondern “links” – die Ursache des Problems spiegelt sich also in der Punkteverteilung wieder und die Grenzen zwischen den Kategorien werden durch die Querverweise nicht aufgehoben.
Dass in Ausnahmefällen negativ besetzte Begriffe positiv gewendet werden können ist sicher richtig – es dürfte aber nur in sehr wenigen Fällen besser sein, als direkt positiv besetzte Begriffe für die eigene Seite zu verwenden. In diesen Ausnahmefällen ist aber das allgemeine Schema natürlich (wie allgemein dargelegt) an die Debatte anzupassen.
In vielen – insbesondere hochwertigen – Debatten ist es nicht möglich, deutlich mehr als 30 Sekunden am Stück hochzublicken. Andernfalls ist zu viel Inhalt “nachzutragen”. Daher mein Vorschlag, zumindest zweimal in 7 Minuten derartige Blöcke einzuschieben zu versuchen. Das hält aber natürlich nicht davon ab, während des Mitschreibens auch bewusst auf die Einzelelemente der Sprachkraft-Ebene zu achten, wie Lennart es hervorhebt, und hierzu Notizen zu machen. Was als Dilemma bleibt, sind die optischen Bestandteile, d.h.Auftreten und in gewissem Rahmen Kontaktfähigkeit. Hier ist eine Minute nicht viel. Natürlich wird man während des Schreibens hoffentlich auch sekundenweise sonst aufblicken – Lücken in der Wahrnehmung ließen sich aber nur dann vermeiden, wenn Juroren (i) blind mitschreiben, (ii) nicht mitschreiben oder (iii) sich zeitlich abstimmen, damit jeweils mindestens ein Juror aufblickt. (i) erscheint mir unrealistisch, (ii) sehe ich ja auf links gerade als Problem (das wir dann auch auf rechts ausdehnen würden) und (iii) ginge nur bei größeren und gut organisierten Panels. Diese Ungerechtigkeit in der Bewertung des Auftretens lässt sich wohl nicht abstellen. Sie tritt (wenn auch in geringerem Maße) ähnlich auch bei anderen Kategorien zu Tage, wenn Juroren z.B. Argumente nicht wahrnehmen oder vergessen aufzuschreiben und nicht in die Bewertung einbeziehen.
Wie von Christian angesprochen ist konstruktives Feedback bei guten Rednern schwer. Durch die Unterteilung etwa der Sprachkraft in verschiedene Unterkategorien (z.B. Modulation bei Lautstärke und Tempo, Wortahl,…) habe ich aber den Eindruck, auch bei 11 und 12 Punkten in Sprachkraft noch etwas zum Mäkeln zu finden. Ein Juror muss es ja nicht selbst besser können, um dem Redner zu zeigen wo noch Verbesserungsbedarf besteht 😉 Ab 13-14 Punkten wird es aber wirklich schwierig – zwar “fühlt” der Juror hier, ob mehr als 13 angemessen ist. Das zu begründen ist aber schwer. Auch das gilt aber aus meiner Sicht für alle Kategorien: Wie jemand bei SV oder Urteilskraft von 13 auf 15 kommen soll kann ich im Feedback kaum darlegen.
Zum Nebenkriegsschauplatz: Das Ausgleichen von Hoch- und Niedrigpunktern spricht m.E. nicht gegen eine absolute Punkteskala: jeder Einzelne der Juroren wendet nämlich (wenn er seine Arbeit richtig macht) tatsächlich eine absolute Punkteskala an, d.h. jeder Juror gibt auch bei guten Debatten in der Bewertung klar zu erkennen, dass alle Redner weiterhin Raum nach oben (oder unten) haben. Die nicht von der Hand zu weisende Differenz zwischen den Punkteskalen verschiedener Juroren ist ein Nachteil des absoluten Punktesystems, hebt dieses aber nicht auf.
@ Lennart
Das Problem dabei ist für mich, dass die eigenen Notizen in der Debatte auch die Vorbereitungen für Jurorenbesprechung und Feedback sind. Sicher kann ich den ungefähren Inhalt des Arguments in zwei, drei Stichwörtern nachvollziehen – doch meine Aufgabe ist es ja, das Gesagte nicht nur wiedergeben zu können, sondern gleichzeitig auch in Bezug auf Relevanz, Qualität und Aufbau zu evaluieren. Nach der einzelnen, gerade gehaltenen Rede mag das im Kopf gehen, wenn man jedoch zum Feedback zum, sagen wir, ersten Redner der Opposition kommt, ist dessen Rede nicht selten fast anderthalb Stunden her und überlagert von sieben weiteren Reden und einer Jurorenbesprechung. Habe ich auf meinem Zettel nur stehen „Schäden für die Wale durch Schallwellen“ und ein minus dahinter, dann ist es schwer, nachzuvollziehen, was genau mir daran nicht gefallen hat, genauso wie ich dem Redner nur sagen kann: „schöne, treffende Wortwahl“ ohne ihm (und damit auch den anderen Rednern der Debatte) ein rechtfertigendes Beispiel dazu geben zu können. Das Feedback wird sozusagen flacher, weil es ohne Spezifika auskommen muss. Sich z. Bsp. nur aus dem Kopf daran zu erinnern, wo der „Aufbaufehler“ war, den man sich auf dem Zettel notiert hat, kann gerade in guten Debatten, wo es um Kleinigkeiten geht, in unschöne Reaktionen der Redner ausarten, umso mehr, wenn ihnen aufgefallen ist, dass man die Hälfte der Zeit kaum Dinge notiert hat – für viele Redner ein nicht unwesentliches Indiz, dass ihnen richtig zugehört wurde. Kaum mitzuschreiben ruft übrigens meiner Erfahrung nach in einem Redner, der gerade ein für sich wichtiges Argument bringt, in den meisten Fällen eher Irritation als das Gefühl „Der hört mir gerade richtig zu“ hervor – und gerade dieses Gefühl ist wichtig, damit die Redner bereit sind, Bewertung und Feedback anzunehmen (s. Bierflaschendiskussion).
Ich glaube deswegen, dass die Wichtigkeit, dem Redner aus der Position des Zuschauers einfach mal ein paar Minuten ruhig zuzuschauen/hören, um seine generelle Wirkung zu beurteilen, hinter der Jurorenaufgabe zurücksteht, den eigenen subjektiven Eindruck auf objektive Kriterien zu stellen und das dann auch den Rednern vermitteln zu können. Ich glaube nicht, dass es in Anbetracht der Vielzahl der zu bewertenden und potentiell zu feedbackenden Kategorien genug Kapazitäten für beides gibt – und deswegen glaube ich auch nicht, dass deine vorgeschlagene Lösung praktikabel ist. Das heißt nicht, dass ich den Status Quo als perfekt empfinde – aber ich glaube, er ist die bestmögliche Lösung, um jeder Kategorie ihre Aufmerksamkeit zukommen zu lassen und gleichzeitig seinen Job als Juror und Feedbackgeber erfüllen zu können.
Das von Johannes in Beitrag Nr. 3 angesprochene Problem der unklaren Aufrechnung und der mangelnden Aufmerksamkeits-Kapazitäten der Jury ließe sich lösen. Etwa, indem man die Kriterien noch detaillierter aufschlüsselt und verschiedene Juroren sich auf verschiedene Kriterien konzentrieren. Das könnte in etwa so aussehen: https://docs.google.com/viewer?a=v&pid=gmail&attid=0.5&thid=13a18b763cdf0eb8&mt=application/pdf&url=https://mail.google.com/mail/u/0/?ui%3D2%26ik%3D78e79614b3%26view%3Datt%26th%3D13a18b763cdf0eb8%26attid%3D0.5%26disp%3Dsafe%26realattid%3Df_h7qk60vt4%26zw&sig=AHIEtbTr07hMFgQffsqpxx-8HW9rvsKgXA
Lieber Jan
danke für einen weiteren zu diskutierenden Sachverhalt:
Wie bewertet man Redner, deren Vermögen deutlich über dem eigenen liegt?
Dazu wieder ein Beispiel aus meiner einigermaßen langen Jurorenkarriere (Start DDM 2010), die aber deutlich(er) BPesk (Antrag auf WORT des Jahres) geprägt ist.
Ich stellte damals erfahrenen Rednern die Frage, wie ich Punkte um und besonders jenseits der 80 (anderes Format, gleiches Problem !!!) vergeben kann, als mein damaliger Rekord bei 2 Reden um die 77 lag.
Allgemeiner gesagt, nach oben wurde und wird es mir mangels eigenem Talent zu nebulös.
Inzwischen rede ich, wenn ich mich anstrenge meist um die 77, die 80er-Marke habe ich einmal geknackt, jetzt ist der “nebulöse Raum” eben ein wenig höher angesiedelt, aber immer noch vorhanden.
En passant hast Du imo mit (iii) eine Idee aufgeworfen, die sich CAs auf Turnieren in beiden! Formaten mal überlegen könnten:
Wie wäre es im Verlauf der Vorrunden mit FESTEN Panels?
Dadurch sollte in späteren Vorrunden die Zusammenarbeit besser sein. Man könnte bereits im Vorfeld und auf turnierübergreifende Sicht in der Anmeldung z.B. die Frage vorgeben “Mit wem jurierst Du gerne zusammen?”
Eventuelle Schwächen und Nachteile dieses Systems:
Das Evaluieren von neuen, talentierten Juroren.
Langeweile: Als Redner will man ja auch sich auf Turnieren mit VERSCHIEDENEN Teams messen, als Juror besteht dieser Wunsch der Diversifikation sicher auch.
Sperrungen: Ob von den CAs gewollt (Juror und Team vom gleichen Club ) oder den Rednern (diese Nase juriert uns immer in Grund und Boden) sind nun organisatorich ein wenig schwieriger.
Nebenkriegsschauplatz:
Wenn jeder eine eigene absolute Skala hat, relativiert das diese dann nicht? 😉
Und nein, mitteln ist keine inhatliche “Jurierleistung” sondern eine mathematische die Diskrepanzen in den unterschiedlichen Wahrnehmungen des Rede eher verschleiert statt offenlegt.