„Begleitstudie“ zum Beratungsnetz (2)
Verfasst: 12. April 2011 10:55
„Begleitstudie“ zum Beratungsnetz (2)
Wichtige Hinweise zur Studienkritik
Zur Methode:
Nachdem ich früheren Studienkritiken einen systematisch strukturierten Aufbau gegeben hatte, gehe ich dieses Mal gänzlich anders vor. „Textfolgend“ oder „textnah“ würde ich diese Methode bezeichnen, d.h. der Text der kritisierten Studie wird vom Anfang bis zum Ende, also in der Reihenfolge, wie ihn die Studienautoren geschrieben haben, kritisch kommentiert. Interpretationen und ihre Begründung erfolgen in dieser sozusagen zufälligen Reihenfolge, die nicht von mir gewählt wurde, sondern durch den Aufbau der kritisierten Studie bestimmt ist. Diese Methode hat den Vorteil, dass die Kritik vollständig nachvollziehbar ist, denn enger kann man sich nicht an die Quelle halten. Diese Methode macht auch die Arbeit des Kritikers transparent. Sie demonstriert gleichzeitig, wie im Grunde jedermann durch genaues und gleichzeitig kritisches Lesen in wissenschaftlichen und pseudowissenschaftlichen Texten Unstimmigkeiten, Denkfehler, Widersprüche und Manipulationen aufspüren kann, - sofern der Text solche überhaupt enthält. Um dieses zu unterstützen schreibe ich hier vorab eine etwas ausführlichere Erläuterung des Vorgehens.
Bereits bevor ich überhaupt mit der ausführlichen Kritik an der Begleitstudie beginnen werde, habe ich den Text zwei Mal gründlich gelesen, und das Wichtigste mit unterschiedlichen Farben markiert, gelb für „interessant“, blau für „bedeutend“, und magenta für „Schlüsselsätze“, und ich habe dazu sofort notiert, was mir eingefallen ist, und dieses grün markiert, um es für mich vom Originaltext zu unterscheiden. Ein sehr grosser Anteil der Widersprüche fiel mir erst nach der ersten vollständigen Lektüre auf, speziell beispielsweise Veränderungen von Meinungen im Laufe der Zeit, zum Beispiel der Ärzte zum Zusammenhang zwischen EMF und Symptomen. Viele Widersprüche, unlogische Folgerungen, falsche und unausgesprochene Prämissen fallen erst beim zweiten Lesedurchgang auf, die beim ersten Lesen noch übersehen wurden.
Beim fortlaufenden Schreiben der Kritik werde ich die Begleitstudie zum dritten und vielleicht auch zum vierten Mal lesen. Eine Studienkritik ist also eine zeitaufwändige Angelegenheit, und sehr kritisches Lesen von Texten, die auf den ersten Anblick logisch richtig erscheinen, verlangt grosse Konzentration, und eine scharfe Brille und starken Kaffee. - Diese Kritik wird also sozusagen live gebracht, so wie sie geschrieben wird.
Kritisch lesen bedeutet mit Misstrauen lesen. Natürlich kann man nicht gänzlich alles in Zweifel ziehen. Das Misstrauen muss seine Grenzen haben, weil man sonst überhaupt nie an ein Ende käme. Ich gehe hier zum Beispiel davon aus, dass die Fragebogen korrekt ausgezählt wurden. Dieses nicht aus Grund- oder Urvertrauen, sondern auch, weil für solche Manipulationen zu viele Personen im Team der Begleitstudie waren, und weil Manipulationen an den Zahlen durch Nachzählen aufgedeckt werden können. Wenn es die Umstände erlauben, den numerischen Auswertungen zu vertrauen, dann können selbst aus Studien mit grundsätzlich falschem Studiendesign wertvolle Einzelinformationen extrahiert werden. Dieses Vorgehen kann die aufwändige Durchführung eigener Studien zur Gewinnung erhärteter Fakten ersetzen! Jedes Ding hat auch seine positiven Seiten.
Um aus kritischem Lesen tatsächliche Ergebnisse zu erzielen, ist folgendes hilfreich:
Wichtige Hinweise zur Studienkritik
Zur Methode:
Nachdem ich früheren Studienkritiken einen systematisch strukturierten Aufbau gegeben hatte, gehe ich dieses Mal gänzlich anders vor. „Textfolgend“ oder „textnah“ würde ich diese Methode bezeichnen, d.h. der Text der kritisierten Studie wird vom Anfang bis zum Ende, also in der Reihenfolge, wie ihn die Studienautoren geschrieben haben, kritisch kommentiert. Interpretationen und ihre Begründung erfolgen in dieser sozusagen zufälligen Reihenfolge, die nicht von mir gewählt wurde, sondern durch den Aufbau der kritisierten Studie bestimmt ist. Diese Methode hat den Vorteil, dass die Kritik vollständig nachvollziehbar ist, denn enger kann man sich nicht an die Quelle halten. Diese Methode macht auch die Arbeit des Kritikers transparent. Sie demonstriert gleichzeitig, wie im Grunde jedermann durch genaues und gleichzeitig kritisches Lesen in wissenschaftlichen und pseudowissenschaftlichen Texten Unstimmigkeiten, Denkfehler, Widersprüche und Manipulationen aufspüren kann, - sofern der Text solche überhaupt enthält. Um dieses zu unterstützen schreibe ich hier vorab eine etwas ausführlichere Erläuterung des Vorgehens.
Bereits bevor ich überhaupt mit der ausführlichen Kritik an der Begleitstudie beginnen werde, habe ich den Text zwei Mal gründlich gelesen, und das Wichtigste mit unterschiedlichen Farben markiert, gelb für „interessant“, blau für „bedeutend“, und magenta für „Schlüsselsätze“, und ich habe dazu sofort notiert, was mir eingefallen ist, und dieses grün markiert, um es für mich vom Originaltext zu unterscheiden. Ein sehr grosser Anteil der Widersprüche fiel mir erst nach der ersten vollständigen Lektüre auf, speziell beispielsweise Veränderungen von Meinungen im Laufe der Zeit, zum Beispiel der Ärzte zum Zusammenhang zwischen EMF und Symptomen. Viele Widersprüche, unlogische Folgerungen, falsche und unausgesprochene Prämissen fallen erst beim zweiten Lesedurchgang auf, die beim ersten Lesen noch übersehen wurden.
Beim fortlaufenden Schreiben der Kritik werde ich die Begleitstudie zum dritten und vielleicht auch zum vierten Mal lesen. Eine Studienkritik ist also eine zeitaufwändige Angelegenheit, und sehr kritisches Lesen von Texten, die auf den ersten Anblick logisch richtig erscheinen, verlangt grosse Konzentration, und eine scharfe Brille und starken Kaffee. - Diese Kritik wird also sozusagen live gebracht, so wie sie geschrieben wird.
Kritisch lesen bedeutet mit Misstrauen lesen. Natürlich kann man nicht gänzlich alles in Zweifel ziehen. Das Misstrauen muss seine Grenzen haben, weil man sonst überhaupt nie an ein Ende käme. Ich gehe hier zum Beispiel davon aus, dass die Fragebogen korrekt ausgezählt wurden. Dieses nicht aus Grund- oder Urvertrauen, sondern auch, weil für solche Manipulationen zu viele Personen im Team der Begleitstudie waren, und weil Manipulationen an den Zahlen durch Nachzählen aufgedeckt werden können. Wenn es die Umstände erlauben, den numerischen Auswertungen zu vertrauen, dann können selbst aus Studien mit grundsätzlich falschem Studiendesign wertvolle Einzelinformationen extrahiert werden. Dieses Vorgehen kann die aufwändige Durchführung eigener Studien zur Gewinnung erhärteter Fakten ersetzen! Jedes Ding hat auch seine positiven Seiten.
Um aus kritischem Lesen tatsächliche Ergebnisse zu erzielen, ist folgendes hilfreich:
- Bei Studien wird meist eine Hypothese aufgestellt, dann wird der Untersuchungsgegenstand planmässig beobachtet, gemessen oder beschrieben, und dann werden die gewonnenen Daten auf die Hypothese bezogen interpretiert, und die Ergebnisse werden in einen übergeordneten Rahmen gestellt. Jede einzelne dieser Phasen kann und soll kritisch betrachtet werden.
- Begriffliche Schärfe ist die Grundvoraussetzung für logisch richtige Aussagen. Darauf kommen wir im nächsten Beitrag zurück.
- Zu vielen Beobachtungen gibt es einen Interpretationsspielraum. Entsprechend ist die Studie auf mögliche einseitige Interpretationen, in Englisch auch als Bias benannt, abzuklopfen
- Wenn die Studie und ihr Inhalt aus verschiedenen Gesichtspunkten betracht werden, wenn in verschiedenen Ebenen und Dimensionen gedacht wird, dann erhöht sich die Chance, Fragwürdiges zu finden. Das tönt hier sehr abstrakt und wie ein Allgemeinplatz, die praktische Anwendung wird aber noch gezeigt.
- EMF-Schädigung ist ein medizinisches Problem, mit einer physikalischen Ursache. Das verlangt interdisziplinäres Denken: Es sind die Gesetze von Spezialgebieten der Physik, Chemie, Biologie, Medizin und Psychologie zu berücksichtigen. Das ist für den Kritiker einerseits anspruchsvoll, andererseits machen die Studienautoren aus diesem Grund auch viele Fehler, die der Kritiker aufspüren kann.
- Ideen dazu, wie die Beobachtungen im Experiment oder in den Berichten auch ganz anderes erklärt werden können als es die Autoren tun, können bei der Lektüre der Studie einfallen, sie können aber auch sozusagen bereits vorher im Kopf des Kritikers auf ihre praktische Nutzanwendung warten.
- Kritiken können dann einen konstruktiven Nutzen entwickeln, wenn eigene Erklärungsmodelle auf die Studie angewandt werden. Es soll also nicht einfach das Gelesene als gegeben aufgesogen werden. Zu nahezu allem auf dieser Welt gab es früher andere, unzutreffende Erklärungsmodelle, die heute völlig überholt sind, und auch der wissenschaftliche Fortschritt ist noch keinesfalls abgeschlossen. Warum sollte es sich ausgerechnet nur bei EMF anders verhalten?
- Eigene Ansichten zu haben, und Geschriebenes und Gelesenes nicht einfach als gegeben aufzusaugen, sind die Grundvoraussetzungen für eine Studienkritik. Das bedeutet am Anfang von allem, jeden Respekt vor Personen jeglichen Ranges, und auch vor akademischen und administrativen Titeln, abzulegen!
- Der Kritiker darf sich nicht von der Masse der existierenden Studien beeindrucken lassen. Eine grosse Zahl von Studien kann - wie im Fall biologischer Wirkungen von EMF bzw. des Wissenschaftszweigs Bioelectromagnetics - im Rahmen einer Verdünnungsstrategie bewusst herbeigeführt worden sein, Punkt 3 in viewtopic.php?p=46673#46673 .
- Da es dort, wo eine Verdünnungsstrategie realisiert wurde, völlig unmöglich ist, alle die sehr zahlreichen Studien zu kritisieren, sollten Kritiken allgemeingültig formuliert werden. Am besten ist es, für die Kritik solche Studien auszuwählen, die stellvertretend für eine ganze Reihe analog kritikwürdiger Studien stehen können.
- Die verschiedenen Forschungsmethoden, wie Befragung, Messung, Experiment, bestimmte Sitzungsformen etc. weisen jeweils ein spezifisches Potential an Manipulations-, Irrtums- und Fehlermöglichkeiten auf, dessen man sich hauptsächlich durch Erfahrung gewahr wird.