Zusammenfassung
DIE SENSIBILITÄT FÜR DEN MISSBRAUCH STATISTISCHER METHODEN ERHÖHEN
Unter dem Begriff „Bad Science“ verstehen die Autoren und Herausgeber dieses Bandes sowohl schlampiges Vorgehen beim wissenschaftlichen Arbeiten, als auch auf Grund von Vorurteilen zu einseitig geratene Untersuchungen, bis hin zum Fälschen von Ergebnissen.
Die Beiträge dieses Sammelbandes basieren auf Seminararbeiten des „Blockseminar Survey Methodik“, das im Rahmen des Masterstudiengangs Survey-Statistik von der Otto-Friedrich-Universität Bamberg angeboten wurde.
Die Verfassenden der Beiträge sind somit alle Studierende, die an diesem Seminar teilgenommen und sich thematisch mit der Problematik „Bad Science“ auseinandergesetzt haben. Auf Grund der großen Relevanz des Themas wurde die Veröffentlichung der Artikel im Rahmen dieses Sammelbandes beschlossen, damit noch mehr Leser von den Erkenntnissen profitieren können. Inhaltlich wird eine theoretische Auseinandersetzung mit dem p-Wert allgemein, mit der Größe von Stichproben, dem Vorgehen des p-Hacking, der Schwäche von klassischen Hypothesentests und dem Vorgehen des HARKing aufgearbeitet.
AUS DEM INHALT:
I. Methodische Grundlagen
II. (K)eine Anleitung zum Mogeln
III. Wie man unter Zuhilfenahme statistischer Methoden Nonsens-Forschung einen wissenschaftlichen Anstrich verpasst
IV. Handfeste Konsequenzen in der wirklichen Welt
DIE HERAUSGEBER:
Rebekka Kluge, GESIS – Leibniz-Institut für Sozialwissenschaften, Mannheim, Dr. Florian Meinfelder, Lehrstuhl für Statistik und Ökonometrie, Otto-Friedrich-Universität Bamberg
Leseprobe
Inhaltsverzeichnis
Zum Inhalt:
DIE SENSIBILITÄT FÜR DEN MISSBRAUCH STATISTISCHER METHODEN ERHÖHEN
Unter dem Begriff „Bad Science“ verstehen die Autoren und Herausgeber dieses Bandes sowohl schlampiges Vorgehen beim wissenschaftlichen Arbeiten, als auch auf Grund von Vorurteilen zu einseitig geratene Untersuchungen, bis hin zum Fälschen von Ergebnissen.
Die Beiträge dieses Sammelbandes basieren auf Seminararbeiten des „Blockseminar Survey Methodik“, das im Rahmen des Masterstudiengangs Survey-Statistik von der Otto-Friedrich-Universität Bamberg angeboten wurde.
Die Verfassenden der Beiträge sind somit alle Studierende, die an diesem Seminar teilgenommen und sich thematisch mit der Problematik „Bad Science“ auseinandergesetzt haben. Auf Grund der großen Relevanz des Themas wurde die Veröffentlichung der Artikel im Rahmen dieses Sammelbandes beschlossen, damit noch mehr Leser von den Erkenntnissen profitieren können. Inhaltlich wird eine theoretische Auseinandersetzung mit dem p-Wert allgemein, mit der Größe von Stichproben, dem Vorgehen des p-Hacking, der Schwäche von klassischen Hypothesentests und dem Vorgehen des HARKing aufgearbeitet.
AUS DEM INHALT:
- Methodische Grundlagen
- (K)eine Anleitung zum Mogeln
- Wie man unter Zuhilfenahme statistischer Methoden Nonsens-Forschung einen wissenschaftlichen Anstrich verpasst
- Handfeste Konsequenzen in der wirklichen Welt
Zu den Autoren:
Rebekka Kluge ist seit dem Abschluss des Masterstudiums in Survey-Statistik und Soziologie an der Otto-Friedrich-Universität Bamberg im Jahr 2018 bei GESIS – Leibniz-Institut für Sozialwissenschaften als Doktorandin tätig. Dort beschäftigt sie sich vor allem damit, wie Umfragen methodisch korrekt erhoben werden können. Sie vertritt die Auffassung, dass Studierenden der Begriff der „Bad Science“ möglichst früh über den Weg laufen sollte, um sie aufdecken zu können.
Dr. Florian Meinfelder war bis 2010 in der Marktforschung tätig, bevor er an den Lehrstuhl für Statistik und Ökonometrie der Otto-Friedrich-Universität Bamberg als Lehrkraft für besondere Aufgaben wechselte, wo er seitdem unterrichtet und forscht. Er ist der Überzeugung, dass ein mündiger Umgang mit datenbasierten Informationen in unserer Gesellschaft von zunehmender Bedeutung sein wird.
Bad Science
Die dunkle Seite der Statistik
von
Florian Meinfelder
Rebekka Kluge
Verlag Franz Vahlen München
VVorwort
Unter dem Begriff „Bad Science“ verstehen wir sowohl schlampiges Vorgehen beim wissenschaftlichen Arbeiten, als auch auf Grund von Vorurteilen zu einseitig geratene Untersuchungen1, bis hin zu absichtlichem Fälschen von Ergebnissen. In allen Fällen spielen statistische Verfahren sehr häufig eine Rolle.
Die Beiträge dieses Sammelbands basieren auf Seminararbeiten des „Blockseminar Survey Methodik“ aus dem Sommersemester 2016, das im Rahmen des Masterstudiengangs Survey-Statistik von der Otto-Friedrich-Universität Bamberg angeboten wurde und an dem per Videokonferenz auch Studierende der Masterstudiengänge Statistics der Berliner Universitäten und Survey Statistics der Universität Trier teilgenommen hatten. Thema des jährlich stattfindenden Seminars war seinerzeit „Bad Science“. Der Grundgedanke war folgender:
„Wenn die Seminarteilnehmer zukünftig eventuellen Missbrauch erkennen können sollen, dann lasst sie am besten (vorübergehend!) in die Rolle der Gegenseite schlüpfen!“
Die Verfassenden der Beiträge sind somit alle Studierende, die an diesem Seminar teilgenommen und sich thematisch mit der Problematik „Bad Science“ auseinandergesetzt haben, um ihre eigene Sensibilität für den Missbrauch statistischer Methoden zu erhöhen. Auf Grund der großen Relevanz des Themas wurde die Veröffentlichung der Artikel im Rahmen eines Sammelbands beschlossen, damit noch mehr Leser von den Erkenntnissen profitieren können. Inhaltlich wird eine theoretische Auseinandersetzung mit dem p-Wert allgemein, mit der Größe von Stichproben, dem Vorgehen des p-Hacking, der Schwäche von klassischen Hypothesentests und dem Vorgehen des HARKing aufgearbeitet.
Das Seminar enthielt drei Themenschwerpunkte:
I. Methodischer Hintergrund
- Beschreibung der Schwächen herkömmlicher Testverfahren
- Vorstellung der gängigen Manipulationsmöglichkeiten
- Einführung in alternative Testverfahren aus dem Bereich der Bayes-Inferenz
- Echte Analysen mit empirischen Daten
- „Beweis“ unsinniger Hypothesen
- Persiflierende Aufbereitung als genuin erscheinender Wissenschaftsartikel
III. Methodische Kritik eines prominenten Beispiels
- Bekannte Studien zu Themen und Produkten, deren Ergebnisse auch in den allgemeinen Medien diskutiert wurden
- Nebenbedingung: Keine Diffamierung einzelner Wissenschaftler
Ausgehend von den drei Themenschwerpunkten hat sich letztendlich nach Sichtung der Arbeiten eine Untergliederung in vier Teile als sinnvoll herauskristallisiert – eingerahmt VIvon einem Beitrag, der zweigeteilt wurde, da er sich als Einführung und als Zusammenfassung eignete. Um den Übergang der einzelnen Teile hervorzuheben, enthält das Buch von den Herausgebern verfasste Zwischentexte, die eine kurze Einführung in das Thema des jeweiligen Teils beinhalten.
Neben der sogenannten Replikationskrise diente als Impulsgeber für das Seminar und somit auch für dieses Buch die medial sehr präsente „Schokoladenstudie“, eine absichtlich gefälschte Studie, die von zwei Journalisten initiiert wurde und das Ziel hatte, den ganzen fragwürdigen Prozess von vermeintlich sensationellen wissenschaftlichen Ergebnissen bis in die Massenmedien zu beleuchten.2 Zu beiden Themen folgen im Laufe des Buches an diversen Stellen ausführliche Informationen.
Wir bedanken uns an dieser Stelle sehr für die Unterstützung durch Sina Ebert, die uns bei der Fertigstellung des Buches tatkräftig unterstützt hat.
Ebenfalls danken wir allen Studierenden, die im Sommersemester 2016 das Seminar aktiv mitgestaltet haben. Es gab noch einige weitere wunderbare Seminararbeiten, die es aus verschiedenen Gründen nicht ins Buch geschafft haben.
Einer Person möchten wir ganz besonders danken – leider posthum: Prof. Dr. Susanne Rässler, die im August letzten Jahres plötzlich und unerwartet verstorben ist. Sie war eine wundervolle Mentorin und hat mit ihrer positiven Energie und Ausstrahlung nicht nur an der Otto-Friedrich-Universität bleibende Spuren hinterlassen. Ohne sie gäbe es den Masterstudiengang Survey-Statistik nicht und somit wäre auch dieses Buch nie zustande gekommen.
Mannheim und Bamberg, Juli 2019Rebekka Kluge und
Florian Meinfelder
Mannheim und Bamberg, Juli 2019 |
Rebekka Kluge und |
1 Bayes-Statistik bietet einen transparenten Weg, „Vorurteile“ oder Vorinformationen, die nicht in Form einer Datenmatrix vorliegen, einzubeziehen.
2 Für den Artikel Chocolate with high Cocoa content as a weight-loss accelerator, den die Journalisten von Wissenschaftlern im entsprechenden Wissenschaftsenglisch verfassen ließen (Bohannon u. a., 2015), findet sich unter https://imed.pub/ojs/index.php/iam/article/view/1087/728 nur noch der Hinweis, dass der Artikel aus dem Journal International Archives of Medicine zurückgezogen wurde.
VIIAutorenliste
Herausgeber:
Rebekka Kluge,
GESIS-Leibniz Institut für Sozialforschung, Mannheim
Florian Meinfelder,
Lehrstuhl für Statistik und Ökonometrie, Otto-Friedrich-Universität Bamberg
Autoren:
Michael Bergrab,
1. Bürgermeister Gemeinde Lisberg / Lehrstuhl für Statistik und Ökonometrie, Otto-Friedrich-Universität Bamberg
Anne Meyer,
BÜRO MAYER GmbH & Co. KG, Hallstadt
Anna-Carolina Haensch,
GESIS – Leibniz-Institut für Sozialwissenschaften, Mannheim
Doris Stingl,
Lehrstuhl für Statistik und Ökonometrie, Otto-Friedrich-Universität Bamberg
Details
- Seiten
- 152
- ISBN (eBook)
- 9783800660292
- Sprache
- Deutsch
- Erscheinungsdatum
- 2019 (November)
- Schlagworte
- Fake-News Fälschung Hypothesentests Statistik Stichprobenmessung