Signifikanz = Relevanz?

Beim 11. Tag des wissenschaftlichen Nachwuchses, der Anfang Dezember hier an der Pädagogischen Hochschule Weingarten stattfand, habe ich erneut erste Zwischenergebnisse meines Dissertationsvorhabens präsentiert. Ich denke ich nehme nicht zuviel vorweg, wenn ich jetzt schon mal berichte, dass ich bisher keine signifikanten Veränderung der Lernermotivation durch den unterrichtsbegleitenden Einsatz von Weblogs in meiner Studie finden konnte… was ich persönlich auch nicht als wirklich dramatisch erachte.

Allerdings kam in der anschließenden Diskussion, wie bereits bei der Vorstellung von ersten Auswertungen an anderer Stelle, die Frage auf, wie ich denn nun gedenke weiter zu verfahren. „Wirkliche Ergebnisse“ hätte ich bisher ja noch nicht rausbekommen. Und das erachte ich dann schon eher als dramatisch. Es scheint so zu sein, dass in der wissenschaftlichen Welt nur signifikante Ergebnisse zählen. Was nicht signifikant wird ist kein „wirkliches Ergebnis“. Eine latente Grundhaltung, die mir auch in Gesprächen in anderem Kontext öfters auffiel. Und schaut man sich die Veröffentlichungen in den Journals an, so fällt auf, dass auch dort überwiegend signifikante Ergebnisse präsentiert werden. Ich erinnere mich, mal einen Untersuchung gelesen zu haben, in der genau dieses Phänomen untersucht wurde (leider kann ich den entsprechenden Link gerade nicht mehr finden). Die Autoren kamen zu dem Schluss, dass vermutliche viele Forscher davor zurückschrecken, nicht signifikante Ergebnisse bei entsprechenden Journals einzureichen, da sie eh davon ausgehen, dass diese Beiträge abgelehnt werden.

So kommt jedoch die Gefahr auf, dass es zu gravierenden Fehlvorstellungen in einigen Forschungsbereichen kommen kann. Denn wenn ich auf meine bisherigen Studien zurückschaue und auch mit Kolleginnen und Kollegen rede, so sind nicht signifikante Ergebnisse zwar nicht die Regel, aber sicher keine Ausnahme. Verschwindet nun ein Großteil dieser Studien in den Schreibtischschubladen, so setzt sich eine Art Schweigespirale in Gang, die dazu führt, dass gewissen Zusammenhänge als mehrfach belegt angesehen werden, wobei sie eventuell nur in einer Minderheit der Studien tatsächlich aufgetreten sind. Oftmals – gerade in empirisch bisher wenig erforschten Themengebieten – ist eben „kein Ergebnis“ eine „wichtige Erkenntnis“.

Ich frage mich nun, ob a) nur ich das so sehe, b) jemand zufällig die oben erwähnte Studie kennt und mir nochmals den Link schicken könnte und c) wie man mit dem Problem umgehen sollte. Bei letzterem Punkte denke ich könnte das Social Web eine Reihe von Möglichkeiten bieten. Zum einen bieten Weblogs die Möglichkeit auch Studien zu publizieren, die in Journals nicht angenommen wurden und so die Gatekeeper-Funktion der Herausgeber zu umgehen. Zum anderen würde ich mir eine Art „Publikationsmülltonne“ wünschen, eine Art Datenbank, in der alle Veröffentlichungen, die in keinem der „renommierten“ Journals platziert werden konnten nach Themengebieten abgelegt, verschlagwortet und unter einer freien Lizenz verfügbar gemacht werden können. Dies ist allemal besser als die Arbeit einfach in der Schreibtischschublade verstauben zu lassen. Zum anderen könnte es als Ergänzung zu den Journalveröffentlichungen und sonstigen Publikationen helfen ein besseres und objektiveres Bild von den Forschungsergebnissen in einzelnen Themengebieten zu bekommen. Und wer weiß, vielleicht entwickelt sich die „Publikationsmülltonne“ ja zu einem wertvollen, freizugänglichen Archiv voller für die eigene Arbeit relevanter Erkenntnisschätze.

Bildquelle: Wikimedia Commons (Fotograf: Joadl)

Advertisements

14 Responses to Signifikanz = Relevanz?

  1. julbsee sagt:

    Hallo,

    das hört sich in der Tat dramatisch an. Mir scheint, dass nicht signifikante Ergebnisse als Versagen gedeutet werden..nicht anders kann ich mir erklären, warum nach „wirklichen Ergebnissen“ gefragt wird.
    Das heißt ja auch im Umkehrschluss, dass man nicht jeder Studie trauen kann, denn „traue keiner Studie, die du nicht selbst gefälscht hast“..ich will selbstverständlich niemandem etwas unterstellen, schon gleich gar nicht dir, aber wie viele arme Doktoranden brüten über ihrer Diss..und bekommen am Ende „kein wirkliches Ergebnis“ heraus und um der Schmach zu entgehen von der restlichen Fachwelt als „Versager“ erkannt zu werden, hübschen sie ihre Ergebnisse einfach auf…nicht auszudenken…

    Grüße,
    Julbsee

    • Crossyard sagt:

      Hallo Julbsee,

      auch wenn die Tagespresse immer wieder von gefälschten Forschungsergebnissen berichtet berichtet, möchte ich hier nicht den Eindruck aufkommen lassen, dass Kolleginnen oder Kollegen ihre Datenmanipulieren. Ich glaube daran, dass die meisten sich an forschungsethische Grundsätze halten. Leider führt die Konzentration auf signifikante Ergebnisse bei den Herausgebern von Journals jedoch dazu, dass viele interessante Dissertationen oder sonstige Forschungsarbeiten eher ein Mauerblümchen-Dasein in den jeweiligen Unibibliotheken fristen. Oftmals zu unrecht. Schade.

  2. Lieber @crossyard,

    ist nicht gerade DEIN Ergebnis ein „ungeheuerlicher Skandal“? … Da werden Module um Module entwickelt, bei denen es um Erstellung eines eigenen Weblogs und der wissenschaftlichen Evalution um dasselbige herum geht… auf der empirisch nachgewiesenen Grundlage, dass dies ohnehin keinen Unterschied macht? 😉

    Deshalb: Das ist in der Tat ein relevantes Ergebnis, zumindest m.E.

    Und zur Tonne: Hervorragende Idee. Das wäre doch ein lohnendes Projekt: Ab in die Tonne! Falls Du noch eine Mitstreiterin suchst, ich hätte da auch den einen oder anderen Text anzubieten 🙂 🙂 🙂

    • Crossyard sagt:

      Liebe Monika,

      einen „ungeheurlichen Skandal“ würde ich es nicht nennen. Zum einen handelt es sich bei meiner Untersuchung ja nur um einen ersten Schritt in die Richtung der empirischen Überprüfung weitverbreiteter Hypothesen zum weblogbasierten Lernen. Sicher hat die Studie auch ihre Schwächen und weitere sollten folgen. Zum anderen denke ich, dass die Integration von Social Software in den Unterricht wichtig ist, egal, ob es zu einer signifikanten Erhöhung der Lernmotivation führt. So lange diese nicht sinkt ist ja alles in Ordnung. Solche Tools gehören einfach zur zukünftigen Lebenswelt heutiger Schülerinnen und Schüler und keiner käme auf die Idee, dass man Taschenrechner aus dem Matheunterricht verbannen sollte, nur weil diese die Lernenden nicht zusätzlich motivieren.

      Aber ich denke auch, dass meine bisherige Ergebnisse relevant sind. Führen sie doch eventuell dazu, dass Lehrpersonen nicht mit übersteigerten Erwartungen an die Integration von Weblogs in ihren Unterricht herangehen und so am Ende nicht enttäuscht bzw. verunsichert sind, wenn was nicht so toll läuft. So werden sie nicht gleich entmutigt und probieren vielleicht weiter aus.

      Und ja, die Tonne finde ich auch ein gute Idee. Leider fehlt mir zur Realisierung das nötige Know-How und teilweise die technische Infrastruktur. Aber ich will es auf jeden Fall im Hinterkopf behalten und vielleicht finden sich ja Mitstreiter, um es auszuprobieren. Ich hoffe inständig, dass ich es dieses Jahr endlich mal zu einem Educamp schaffe. Bei dem Potential an kreativen Machern sollten sich sicher solche Ideen konkretisieren lassen.

  3. jazzy sagt:

    Hm.

    Das Problem ist bekannt, und ja, ich meine, mich auch an den Artikel zu erinnern … muss ich schauen, sobald ich wieder auf der gegenüberliegenden Seite des Flures angekommen bin 😉

    Ich sehe das mittlerweile allerdings nicht mehr so tragisch. Es mag bei sog. wissenschaftlichen Publikationen stark auf den jeweiligen Bereich bzw. das Magazin ankommen, allerdings können nicht soignifikante Ergebnisse m.E. durchaus relevant, nicht relevante Ergebnisse durchaus signifikant, aber natürlich auch nicht relevante Ergebnisse nicht signifikant sein. Oft wird – denke ich – vergessen, dass es bei Untersuchungen eine methodologische Vielfalt gibt, die angewendet werden kann – nur häufig wird, anstelle das nach einer geeigneten methodologischen Basis gesucht wird, eher versucht, die eigenen Ergebnisse in das bekannte Gerüst der quantitativen Forschung einzufügen.

    Und so eine Mülltonne ist natürlich klasse und wünschenswert – aber soooo(…) viel Arbeit!

    8)

  4. Mandy Schiefner sagt:

    Lieber Christian, danke nochmals für den Hinweis. Es hat aber denk ich auch damit zu tun, wie man an eine Sache rangeht. Erwartet man selbst als Forschende/r nicht manchmal zu viel. Und was heisst signifikant? Da gibt es ja durchaus noch weitere Kriterien, wie du oben so schön aufgeführt hast (Praxisrelevanz, …). Nicht jedes Tool muss signifikant Lernerfolg verbessern, zumal eh die Frage, ist, was dieser eigentlich ist.
    Von daher: nicht verunsichern lassen und dran bleiben. Viel schwieriger finde ich es da, Studierenden zu dieser Haltung zu führen, ohne zu grossen Frust zu erzeugen. Aber das sind die Aufgaben der Hochschullehrer 😉

  5. masa0021 sagt:

    Na ja, mein Doktorvater gehörte noch der alten Schule an. Sprich: 1 bis maximal 2 Publikationen alle 4 Jahre (pro Mitarbeiter). Das gute an der Methode ist, dass man
    a) sehr zuverlässige Ergebnisse präsentieren kann und
    b) aus dem vollen schöpfen kann.
    Hat man nun ein großes Reservoir an „vorzeigbaren“ Resultaten, ist es viel einfacher, auf „Schwächen“ anderer Modelle/Theorien/Annahmen einzugehen. Dementsprechend hatte ich noch nie Probleme damit, dass solche Publikationen abgelehnt wurden.

    • Crossyard sagt:

      Mh, also ich bin mir nicht sicher, ob es nur mit alter oder neuer Schule zusammenhängt. Ich glaube, dass hier auch das Forschungsgebiet eine Rolle spielt bzw. der Unterschied zwischen naturwissenschaftlicher und Sozialforschung.

  6. masa0021 sagt:

    Du meinst also, dass die Naturwissenschaften eher solche Resultate akzeptieren würden? Mag sein. Oder habe ich Dich falsch verstanden?

    Aber das hat definitiv etwas mit der Schule zu tun. Leider pocht Wirtschaft und Politik immer mehr auf ein Mitbestimmungsrecht in den (Natur)Wissenschaften. Das hat in den Naturwissenschaften katastrophale Folgen. Eine der Folgen ist, dass 5 mittelmäßige Publikationen mittlerweile mehr wert sind als 1 herausragende. Jemand, der eine Professorenlaufbahn anstrebt, kann es sich gar nicht mehr erlauben, Resultate doppelt und dreifach zu überprüfen. Was noch wesentlich fataler ist: Themen werden nicht mehr ausgereizt. Oft fallen mir beim Lesen von Publikationen Fragestellungen auf, die später nicht mehr behandelt wurden. Als Wissenschaftler wird man mehr und mehr zur Wanderheuschrecke. Man stürzt sich auf ein Thema und 5min später zum nächsten.

    • Crossyard sagt:

      Ich glaub‘ da hast du mich falsch verstanden. Ich wollte keinesfalls andeuten, dass die Naturwissenschaften solche Resultate eher akzeptieren würden. Ganz im Gegenteil. Aber in diesem Bereich sind vermutlich Laborexperimente weit verbreitet, in denen die Untersuchungsbedingungen weitestgehend kontrolliert werden können. Durch Wiederholung und Anpassung von Messreihen dürfte die Wahrscheinlichkeit, statistisch signifikante Ergebnisse zu bekommen, recht gut sein. Bei Untersuchungen in sozialen Gruppen ist das hingegen nicht der Fall. Selbst wenn ich in meinem Fall die gleichen Schulklassen nochmals mit einem angepassten Setting untersuche, kann ich nicht von vergleichbaren Bedingungen ausgehen, da sich die Personen auch mit der Zeit „weiterentwickeln“. Ob ich daher eher signifikante Resultate bekomme, wage ich zu bezweifeln. Daher sind statistisch nicht signifikante Unterschiede in den Sozialwissenschaften sicher weiter verbreitet.

      Was die Veröffentlichungspolitik angeht stimme ich dir voll und ganz zu. Finde es auch bedenklich, dass bei Besetzungen eher die Quantität als die Qualität von Veröffentlichungen zu zählen scheint. Und mit Qualität meine ich nicht, ob es sich um Monographien oder hochgerankte Journals handelt. Das ist so ein weiteres Thema, über das man streiten könnte. Ich kann nicht verstehen, weshalb eine gute Onlinepublikation oder ein Artikel in einem Openacess-Journal weniger „wert“ sein sollte als in einer kommerziellen – im Wissenschaftsbereich meist überteuerten – Zeitschrift.

      Hoff‘ ich konnte das Missverständnis ausräumen 🙂

  7. cspannagel sagt:

    Hi zusammen,

    das Phänomen heißt „publication bias“, und im entsprechenden Wikipedia-Artikel gibt’s jede Menge Literaturverweise zu dem Thema:
    http://en.wikipedia.org/wiki/Publication_bias

  8. cspannagel sagt:

    … ach so: Ich war auch Zuhörer in dem Vortrag von Christian, und ich konnte es genauso wenig fassen. Hier (etwas später) meine Reflexion dazu:
    http://tinyurl.com/6bws2ar

  9. […] weiß jetzt nicht, ob einer der Workshop-Teilnehmer meinen Blogbeitrag gelesen hat, in dem ich meine Gedanken zu einer „Publikationsmülltonne“ festhielt, aber […]

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s

%d Bloggern gefällt das: