Wieso wir probabilistisch jurieren sollten

Datum: Nov 30th, 2016
By
Category: Jurieren, Mittwochs-Feature

Sorry, this entry is only available in German.

Print Friendly, PDF & Email
Schlagworte: , ,

15 Kommentare zu “Wieso wir probabilistisch jurieren sollten”

  1. Lennart Lokstein says:

    Ein sehr guter Beitrag! Ich würde dabei zwei Dinge zu bedenken geben:
    1. Die Gedanken sollten primär für BPS besprochen werden, da die genannten Präferenzen für eine binäre Darstellung in OPD – was ja publikumsbezogen debattiert wird – durchaus eine entsprechende Herangehensweise legitimieren können. Der Großteil auch eines gebildeten Publikums wird seine Entscheidungen nicht von sehr unwahrscheinlichen Fällen abhängig machen. (Meine private Meinung.)
    2. Formatunabhängig stellt uns eine konsequente Anwendung vor das Problem, dass Teams nur noch darüber gewinnen werden, zu zeigen, warum Atomkrieg minimal wahrscheinlicher/unwahrscheinlicher wird, da dessen Impact gegen unendlich geht. Ich finde es daher für an der Realität orientierte Debatten sehr wünschenswert, wenn wir publikumsorientiert sagen: Sehr unwahrscheinliche Fälle sind schlicht nicht persuasiv.
    3. Ich glaube, was in der Frage, wie bzw. was wir generell jurieren wollen, stark die Frage mitschwingt, wer wir sein wollen. Bei zu abstrakten, menschenfernen Jurierungen bekommt der Elfenbeinturm eben noch ein paar Stockwerke mehr. Das soll keine generelle Opposition zum Vorschlag sein – gerade wenn widerstreitende Mechanismen ähnlich plausibel sind, würde ich entsprechend jurieren. Aber wenn eine Variante mit Abstand wahrscheinlicher ist wie im obigen Beispiel finde ich eine Jurierung pro hoher Zutreffwahrscheinlichkeit legitim, solange das Thema auf einer praktischen, realitätsbezogenen Ebene debattiert wird. In rein philosophischen Spielereien, also eher weltferneren Themen, würde ich hingegen eher probabilistisch jurieren.

  2. Simon V. says:

    3 Fragen:

    Was bedeutet ein Impact von + 10? Wie ist das zu bemessen?

    Inwiefern kann man annehmen, dass wirklich Überzeugungskunst in mathematische Formeln ausgedrückt werden kann?

    Wieso agumentierst du in deinem eigenen Artikel über Wahrscheinlichkeiten nicht mit Wahrscheinlichkeiten?

    1. Stefan Torges says:

      Hallo Simon! Danke für deine Nachfragen 🙂

      1. “Was bedeutet ein Impact von + 10? Wie ist das zu bemessen?”

      Wenn Jurieren, d.h. das Vergleichen von Argumenten, auf fundamentaler Ebene möglich sein soll, muss es eine gemeinsame “Währung” geben. Sonst wären Debatten nicht entscheidbar. Ich will keine Position beziehen, welche Währung das in Debatten sein sollte. Daher habe ich die Einheit weggelassen. Dies ist eine abstrahierte und idealisierte Ausdrucksweise, die so in der Realität höchstwahrscheinlich nie vorkommen wird. Doch sie kann verdeutlichen, wieso probabilistisches Jurieren wichtig ist.

      2. “Inwiefern kann man annehmen, dass wirklich Überzeugungskunst in mathematische Formeln ausgedrückt werden kann?”

      Ich glaube, dass Argumente so funktionieren *sollten*. Wenn das so ist, sollten wir versuchen in der Jurierung diesen Prozess zu approximieren. Um zu erklären, wieso ich das glaube, müsste ich weit ausholen.

      3. “Wieso agumentierst du in deinem eigenen Artikel über Wahrscheinlichkeiten nicht mit Wahrscheinlichkeiten?”

      Ich habe gesagt, dass die Jurierung probabilistisch stattfinden sollte. In dem hier vorliegenden Format nimmst du die Rolle des Jurors ein und solltest dir überlegen, für wie glaubwürdig du meine Argumente hältst. Ich hätte in der Tat an jeden meiner Sätze meinen Überzeugungsgrad anfügen können. Das hätte die Lesbarkeit aber etwas eingeschränkt.

  3. Deniz L. (Halle) says:

    Interessanter Beitrag. Ich halte die von dir, Stefan, vorgeschlagene Herangehensweise aber gerade in den “extremen” Fällen, die du mit deinem 2. Beispiel bebilderst, für extrem problematisch. Gerade das, was Lennart in seinem Beitrag unter 2. anführt, halte ich hier für das größte Problem vor dem Hintergrund der folgenden Frage: Was ist eigentlich die Aufgabe eines Redners?

    In meinen Augen ist das erstens die schlüssige Darlegung eben der hohen Wahrscheinlichkeit, dass das, was er sagt, wahr ist, und zweitens, dass die Mechanismen, die er benutzt, in der Realität (nicht nur in Debateland) auch “funktionieren”. Die hier vorgestellte Herangehensweise würde den Redner/die Rednerin doch im Endeffekt von der ersten Aufgabe weitgehend befreien und ein Phänomen befeuern, das ich gerade bei neuen RednerInnen oft beobachte: Es wird (überspitzt gesagt) versucht, aus der Abschaffung der Pendlerpauschale den ersten Schritt hin zu Atomkrieg, Terror und allgemeinem Verderben zu machen, anstatt schlüssig darzulegen, dass sie die Landflucht verstärkt und Krankenhaus- und Schwimmbad-schließungen zur Folge hat. Wenn dann tatsächlich auch noch der-/diejenige gewinnen soll, der/die die größere Apokalypse prophezeit, dann besteht in meinen Augen für niemanden mehr ein wirklicher Anreiz, sich wirklich die Mühe zu machen, in kleinen, logischen Schritten aufzuzeigen, wie man von einem status quo über eine Handlung zu einem Ziel kommt – den Leuten, die uns besuchen, genau das nahezulegen und einen Raum zu schaffen, um das gemeinsam zu üben, ist aber doch eigentlich unsere Daseinsberechtigung (wenn wir nicht nur einfache Rhetorikseminare anbieten wollen), nicht?

    Für sinnvoll halte ich deine Überlegungen eher im ersten Anwendungsfall, den du beschreibst. Wenn beide Teams ähnlich schlüssig dargelegt haben, dass etwas positives bzw. negatives passiert, dann halte auch ich es für die Aufgabe eines Jurors/einer Jurorin, die positiven Effekte gegen die negativen abzuwägen. Hier stellt sich für mich aber die Frage, inwieweit das nicht schon status quo ist. Da ich selbst selten bis gar nicht juriere, würde mich also interessieren, ob es JurorInnen gibt, die das bisher anders handhaben.

  4. Toni (Oxford/München) says:

    Von einem “debattiertheoretischen” Standpunkt aus, stimme ich dir voll zu. In einer guten Debatte ist die propabilstische Abwägung aber Aufgabe der Teams. Es ist schwer genug, Impaccts zu vergleichen, um ernsthaft propabilistisch zu jurieren, müsste man diese Unterschiede sogar noch quantifizieren. Das ist praktisch eigentlich nur bei der Frage “Wer produziert die meisten weinenden Welpen?” möglich. Das zu approximieren kann man versuchen, aber meiner Erfahrung nach wird das heute auch schon versucht.
    Was man außerdem quantifizieren muss, sind die Wahrscheinlichkeit. Eine untere Schranke (das ist ja das wichtigste) zu finden und plausibel zu begründen, wird umso schwerer, je kleiner die Wahrscheinlichkeit ist. Nur der Beweis, dass die Wahrscheinlichkeit steigt, reicht nicht, um propabilistisch zu gewinnen. Aber zu erklären, warum die Wahrscheinlichkeit eines Atomkriegs in den nächsten 10 Jahren um mindestens 0,1 Prozentpunkte steigt, ist bei der Komplexität der Zusammenhänge quasi unmöglich. Insbesondere wenn die menschliche Intuition schon am Ziegenproblem scheitert.
    Außnahmen wären absurde Beispiele der Marke “Ich zeige, dass es eine positive Wahrscheinlichkeit gibt, dass es einen Gott gibt, der mir aufgtragen hat, die halbe Menscheit zu töten. Wenn ich das mache, kommen wir für ewig ins Paradies, wenn nicht kommen alle für ewig in die Hölle.” Rein propabilistisch könnte ich damit begründen, dass es gut ist, die halbe Mennschheit zu töten und nach strenger Auslegung der propabilistischen Abwägung müsste ich das auch gewinnen, schließlich ist eine unendliche Höllenqual für die gesamte Menschheit der ultimative Schaden. (impact=\infty).

  5. Jonas (Potsdam / Münster) says:

    Ich kann deine Argumente nicht teilen.
    Im Debattieren geht es in letzter Konsequenz darum einen Adressaten zu überzeugen. Dieser Adressat ist ein durchschnittlich gebildeter Zeitungsleser und kein zahlenbessener Anhänger von Wahrscheinlichkeiten. Wie du ja selbst schon anführst funktioniert unser Geist nicht so. Wir denken nicht in Zahlen, sondern stellen uns die Frage, ob wir Team A oder Team B glauben. Diese zutiefst menschlichen Reflexe beim Jurieren auszuschalten eröffnet eine Jurierung, die sich noch(!) weiter von der realen Welt entfernt als ohnehin schon. Es ist schon im Status Quo für ein fachfremdes Publikum sehr schwierig BPS Jurierungen nachzuvollziehen. Wenn jetzt Juroren Teams den Sieg geben müssen, obwohl sie den Mechanismus für unglaubwürdig halten, entfernt sich BP noch weiter von der Realität und wird endgültig zu einem Spiel einer kleinen abgekapselten universitären Elite ohne jede gesellschaftliche Relevanz.

    Ein Juror muss also auch seine Entscheidung damit begründen können, dass nicht gezeigt wurde, “dass Antrag das Problem auch löst”. Selbstverständlich schließt hier ein gutes Feedback auch mit ein inwieweit das nicht aufgezeigt wurde, falls Ansätze dafür vorhanden sind, die zeigen sollten, dass der Antrag das Problem löst. Falls jedoch überhaupt keine Erklärung vorhanden ist, wieso der Antrag das Problem löst und sich dies auch nicht intuitiv aus Problemanalyse und Antrag ergibt, so halte ich dieses Feedback sogar für vollkommen gerechtfertigt.

    1. Jonathan Scholbach says:

      @”Im Debattieren geht es in letzter Konsequenz darum einen Adressaten zu überzeugen. Dieser Adressat ist ein durchschnittlich gebildeter Zeitungsleser und kein zahlenbessener Anhänger von Wahrscheinlichkeiten.”: Gehen wir beim Jurieren nicht immer von einem idealisierten rationalen Publikum aus? Wenn ich meine Alltagsdiskussionen mal Revue passieren lasse, dann ist bspw. schon die Forderung der Widerspruchsfreiheit, die wir im Jurieren anlegen, ein stark normatives Element der Jurierung, dem sich durchschnittliche Zeitungsleser oft verweigern. Wir hängen also beim Jurieren immer irgendwo zwischen einem imaginierten rationalen Entscheider und einem tatsächlichen Publikum. Sonst bräuchten wir ja auch gar keine Jury, sondern könnten immer das Publikum entscheiden lassen.

    2. Lennart Lokstein says:

      Auch ein idealisiertes Publikum kann doch graduell rational sein? Denkbar sind z.B. Menschen zwischen dem Zustand rein emotional entscheidender Triebwesen und dem rein rational entscheidender Maschinen. Ich sehe an Jonas’ Aussage kein Problem, bzw. anders als du scheinbar das Publikum nicht als so stark rational idealisiert.

    3. Jonathan Scholbach says:

      Stefans Appell ist der Ruf nach einer (utilitaristisch) rationalen Jurierung, die über bestimmte vorhersehbare aber/und irrationale Mechanismen der Bewertung aufgeklärt ist und sich davon löst. Jonas kritisiert daran, dass dieser Rationalismus am realen (empirischen) Publikum vorbei gehe. Ich argumentiere daraufhin, dass der Rationalismus, den wir unseren Jurierungen zugrundelegen, immerschon am realen (empirischen) Publikum vorbeigeht, und dass wir immer einen normaiv angereicherten Maßstab verwenden (“Deine Argumentation sei logisch folgerichtig”, “…sei rational”, “…sei allgemeingültig”, “…sei wahr”), der vom empirischen Publikum so nicht angewandt werden würde; sodass ich zwischen Stefans Vorschlag und dem Status Quo allenfalls einen graduellen Unterschied, aber keinen Unterschied im Prinzip erkennen kann. Einen solchen prinzipiellen Unterschied scheint Jonas aber anzunehmen, jedenfalls hatte ich ihn so verstanden.

  6. Konrad Tü says:

    Bei Extremfällen, also alles das mit existential risk zu tun hat, finde ich das rechnen schwierig.
    Selbst wenn es richtig ist, dass die Zukunft der Menschheit primär davon abhängt, was für eine Art von künstlicher Intelligenz geschaffen wird, ist es langweilig alle Themen darauf zu beziehen. Es ist gut möglich, dass ich damit einfach vor dem Problem weglaufe, aber die Folge sind diversere Debatten. Genauso ist es evtl nicht klug, dass nicht alle Staaten riesige Geldmengen an Institute wie MIRI spenden, aber in der Mehrheitsgesellschaft kommt existential risk genauso wenig an -_-

    Bei wahrscheinlichkeiten die sich über 5% abspielen sollten die Teams versuchen den Juroren und dem Publikum zu erklären, warum niedrige Wahrscheinlichkeiten immer noch relevant sind. Deine Analyse über das menschliche Denken ist hier richtig und wichtig, ich glaube aber, dass es in der Rede möglich sein sollte zu erklären, warum auch Wahrscheinlichkeiten <10 beachtet werden sollten.
    Vielleicht denke ich hier zu sehr aus OPD Perspektive (p=60% für diesen claim) aber wenn die Juroren diese Erklärung nicht brauchen und direkt selbst fleißig rechnen, wird der Unterschied zwischen Außenwahrnehmung und innerer Jurierung zu groß.

    Weiterführende Frage: Müssen wir uns jetzt alle mit multiple-worlds-Theorien beschäftigen? (Falls die so heißen. Beliebig viele parallel Universen, in denen verschiedene Dinge passieren)

  7. Christoph (MS) says:

    Zustimmung für die mittleren und hohen Wahrscheinlichkeitsbereiche (p=30% bis p=100%)!
    Die große Schwierigkeit des Ansatzes entsteht in der angemessenen Einordnung von Argumenten, die mit geringer Wahrscheinlichkeit einen gigantischen Impact begründen: Jurieren enthält (durch Effekte wie scope neglect, aber auch schlicht durch begrenzte Zeit und Information aller Beteiligten) einen Ungenauigkeitsspielraum. Es ist unplausibel, nach 7 oder 14 Minuten durch Sprache begrenzte Erklärung zu einem Urteil zu kommen wie: “Wir messen eurem Mechanismus eine Plausibilität von p=67,3% zu”.

    Das ist unproblematisch, solange man nur grobe Tendenzen herausstellen will (“deutlich plausibler”; “ähnlich plausibel”). Will man aber einen Impact von 10000 mit p=1% mit anderen Debattenbeiträgen vergleichen, macht schon eine Fehlermarge bzw. Varianz von 0,5% das Argument “halb so stark” oder “1,5 mal so stark”. Gerade in Fällen, wo es sogar mit viel Zeit und Information (in der “realen Welt”) nicht gelingt, genaue Wahrscheinlichkeiten zu ermitteln (z.B. AI risk; Atomkriege, siehe Konrads und Deniz’ Beiträge), ist es viel verlangt, in begrenzter Zeit zu einer hinreichend genauen Plausibilitätsbewertung zu kommen.
    Argumente, die sich auf geringe Wahrscheinlichkeiten stützen, laufen also Gefahr, das Präzisionspotential des Formats zu verlassen.

    Frage an Stefan und alle anderen: Wie kann ein probabilistischer Jurieransatz mit diesem Problem umgehen? Und wie groß ist die Fehlermarge bei der Zuordnung von Wahrscheinlichkeiten?

  8. Thomas W. (Halle) says:

    Nichts gegen Probilität, aber was ist jetzt hier der Erkenntnisgewinn? Eine reine, leere Probilität ist doch auch nur ein leerer Signifikant.
    Da braucht es weitere theoretische Annahmen, um die begriffliche Unterbestimmtheit, die in dieser formalen Probalität steckt, zu konkretisieren, zumindest im Ansatz.
    Angesichts von Gleichzeitigkeit (7 Milliarden Menschen handeln gleichzeitig realiter), der zeitweisen Intransparenz des Individuums für sich selbst, der eher brüchigen Konstruktion intersubjektiv geteilter Bedeutungsgehalte von Begriffen, kurzum angesichts gesellschaftlicher Komplexität bräuchte es schlicht ein etwas komplexeres Jurierdesign, dass verschiedene Ansätze kombiniert und doch nie der spezifischen Textur des Welthorizonts des Jurierenden und damit dem spezifischen Urteil des Jurierenden entkommen kann.

  9. Jan Ehlert says:

    Wir machen das, was Stefan fordert interessanterweise schon in vielen Fällen und zwar dann, wenn wir Dinge nicht stochastisch sondern statistisch betrachten. Wenn also die Wahrscheinlichkeit p durch z.B. einen konkreten Anteil an Betroffenen ersetzt wird. Dann wären wir ja durchaus einen großen Schaden für einzelne gegen einen moderaten Schaden für viele ab.

    Bin mir nicht ganz, was ich daraus für diese Diskussion ableite, fand die Beobachtung aber spannend.

  10. Stefan Torges says:

    OPD/BPS:

    Ich denke, dass meine Überlegungen *vor allem* für BPS gelten. In den “rechten Kategorien” von OPD sollten sie allerdings meiner Meinung nach auch in einem angemessenen Maß Anwendung finden.

    Pascal’s Mugging (https://en.wikipedia.org/wiki/Pascal's_mugging):

    Es stellt sich tatsächlich ein Problem mit geringen Wahrscheinlichkeiten. Selbst in der Erkenntnistheorie ist bisher ungeklärt, wie ein angemessener Umgang damit aussehen sollte. Wahrscheinlich sollte man aus pragmatischen Gründen tatsächlich eine willkürliche untere Grenze im Debattierkontext festsetzen. Christoph nennt ein weiteres Argument dafür. Ich glaube allerdings, dass diese tiefer sein sollte, als sie bisher intuitiv gesetzt wird. Eine solche Frenze sollte allerdings nicht die Erkenntnis berühren, dass ein Sieg mit unplausiblen Mechanismen (p<50%) prinzipiell möglich ist.

    Welche Rolle hat das Jurieren:

    Von einigen hier wurde angesprochen, dass eine solche Jurierweise weltfremd ist bzw. nicht das vorgestellte Publikum abbildet. Das betrifft das Selbstverständnis des Debattierens: Für mich ist das Debattieren ein Sport, der faire, transparente und konsistente Bewertungsmaßstäbe braucht. Gegenstand des Maßstabs sollten Argumente sein. Mein Beitrag ist ein Versuch das zu verbessern. Auch für diejenigen, die glauben, dass das Debattieren bei der Wahrheitssuche hilft, sollten diesen Ansatz begrüßenswert finden. Die Simulation eines durchschnittlichen Publikums bei der Evaluation von Argumenten halte ich für absurd. Soll ich mir als Juror wirklich denken: "Aha, als durchschnittlicher Zuschauer habe ich scope neglect, leide unter dem identifiable victim effect und habe Tausende andere Biases. Das sollte ich besser in meine Jurierung einfließen lassen." Zumindest in BPS sollte meiner Ansicht nach der Anspruch sein einen rationalen Agenten zu approximieren. Das durchschnittliche Publikum spielt bei der Auswahl angemessener Priors eine Rolle. Hier kommt dann auch der "zeitungslesende Weltbürger" rein. Beim Prozess des Bewertens von Argumenten sollte man dann aber nicht den in Briefings erwähnten IQ von 100 zur Grundlage nehmen, sondern alles, was man an Intelligenz und Rationalität zusammenkriegt.

  11. Daniel (Heidelberg) says:

    Historischer Exkurs aus der guten alten Zeit: früher hat man die oben kritisierten Sätze im deutschsprachigen Debattieren gar nicht gehört. Weder von Juroren, vor allem aber auch nicht von Debattanten. Und es waren diese, also die Redner, die solche Formulierungen zunächst in BPS, später dann auch in OPD in das Debattieren einführten – weshalb ich vermute, dass das als Jargon von den Euros oder den Worlds eingeschleppt worden ist, irgendwann zwischen 2006 und 2010.

    Die coolen Typen aus Oxford und Sydney haben das ja auch getan, muss also irgendwie richtig sein. Stimmt! Aber die haben das dann eben auch gut gemacht, also nicht einfach nur in der Zusammenfassung am Ende der Rede behauptet, „we have shown you…“, sondern uns das vorher auch wirklich gezeigt.

    Im deutschsprachigen Debattieren ist das aber meist nur Slang geblieben, leere Worthülsen, die man anscheinend im Repertoire haben muss, vielleicht fallen die dummen Juroren ja darauf herein.

    Mag sein, dass diejenigen Debattanten, die das als Redner mitgebracht haben, das dann beim Wechsel auf die Jurorenbank in ihrem Wortschatz behalten haben. Mag aber auch sein, dass sich dieser Jargon einfach so verselbständigt hat.

    Ändert nichts daran, dass ich weiterhin der Meinung bin, wir sollten die Debatten jurieren, die wir tatsächlich gesehen haben, nicht die, die wir gerne gesehen hätten. Zugespitzt: Wenn Debattanten in ihren Reden mehr Zeit darauf verwenden uns zu erklären, sie hätten uns etwas gezeigt, als sie uns tatsächlich etwas zeigen, dann muss das Feedback „Ihr habt uns nicht gezeigt…“ gar nicht falsch sein. Ich sehe das also in erster Linie als Problem des Redens, nicht des Jurierens.

    Grüße

    DS

Comments are closed.

Folge der Achten Minute





RSS Feed Artikel, RSS Feed Kommentare
Hilfe zur Mobilversion

Credits

Powered by WordPress.

Unsere Sponsoren

Hauptsponsor
Medienpartner