Von Anoop Balachandran | Benötigte Lesezeit: 7 Minuten |

Wenn es um das Lesen von Forschungsartikeln oder Studien geht, gibt es einige enorm wichtige Punkte zu bedenken, die jedoch häufig von Forschern und Lesern ignoriert oder übersehen werden. Wenn du ab und zu Studien liest und von der wissenschaftlichen Methode überzeugt bist, dann bleib dran.

Dieser Artikel ist Teil einer ganzen Serie, der dir dabei helfen soll wissenschaftliche Arbeiten, Studien aber auch Artikel besser zu verstehen. Bisher erschienene Teile sind:

• (Kraftsport-) Studien verstehen lernen | Was ist die Teststärke (Statistical Power)?
• Studien widersprechen sich, also glaube ich nicht an wissenschaftliche Untersuchungen
• Evidenzbasierte Praxis (EBP) in Training & Ernährung: Missverständnisse & Kritik

(Kraftsport-) Studien verstehen lernen | Anleitung zur Beurteilung der Qualität eines Forschungs-) Artikels

Warum ist die Qualität einer Studie so wichtig?

Wahrheit

Wissenschaftliche Studien werden immer aus dem Grund durchgeführt, der Wahrheit ein Stückchen näher zu kommen. Auch wenn wir niemals ganz sicher sein können, die Wahrheit gefunden zu haben, so wissen wir eins: Je besser die Methoden der Studie, desto näher kommen ihre Ergebnisse wahrscheinlich an die Wahrheit heran.

Bias

In der Wissenschaft wird jederlei Abweichung oder Störung von dieser zugrundeliegenden Wahrheit als „Bias“ (Verzerrung (Methodik) oder auch Befangenheit (Person)) bezeichnet. Je höher das Risiko eines Menschen oder einer Methodologie ist, einem Bias zu unterliegen, desto unsicherer ist das Ergebnis.

Randomisierte kontrollierte Studie (RCTs)

RCT’s (Abkürzung für „Randomized Controlled Trial“) werden in der Wissenschaft als Goldstandard des Studiendesigns angesehen, da das Risiko, einem Bias zu unterliegen, darin vergleichsweise klein ist. Einzig RCT’s sind zudem in der Lage, Ursache und Wirkung – nicht nur statistische Zusammenhänge – nachzuweisen.

Wenn sich die Studie jedoch nicht an angemessene Methoden hält, um Biases zu reduzieren, ist auch eine RCT nur so gut wie eine Stellungnahme aus der „Muscle & Fitness“ – oder vielleicht sollte ich lieber sagen, wie ein Artikel aus der M & F.

Woran erkennt man die Qualität?

Es gibt 3 methodologische Charakteristiken, nach denen man Ausschau halten sollte, um die Qualität einer RCT zu bewerten.

Charakteristik #1: Randomisierung

Randomisierung bedeutet schlichtweg, dass die Studienteilnehmer absolut zufällig auf die verschiedenen Gruppen aufgeteilt werden. Dies stellt sicher, dass die Gruppen vor Beginn der Studie an ausgeglichen sind. Es ist vielleicht der wichtigste Aspekt einer RCT.

Wenn eine Studie dies nicht explizit erwähnt, kann man sie getrost ignorieren.

Charakteristik #2: Verborgene Zuordnung

Wenn die Randomisierung erfolgt ist, ist die nächste Frage, auf welche Art und Weise die Subjekte ihre entsprechenden Anweisungen bekommen. Diese Anweisungen sollten immer so stattfinden, dass das Studienpersonal nicht weiß, welcher Teilnehmer welcher Gruppe zugeordnet werden wird und welche Anweisungen ihm noch bevorstehen.

Charakteristik #3: Verblindung

In einer Doppelblindstudie wissen sowohl die Studienteilnehmer nicht, ob sie den Wirkstoff oder ein Placebo bekommen, noch weiß das durchführende Personal, welcher Gruppe die Subjekte jeweils angehören bzw. ob sie gerade den Wirkstoff oder ein Placebo verabreichen.

In Trainingsstudien ist ein solches Design logischerweise nicht möglich, jedoch kann und sollte zumindest das Studienpersonal verblindet sein – dies wird dann „einfachblind“ oder „single-blinded“ genannt.

Es gibt noch weitere Charakteristiken wie „Intention-to-Treat“ (ITT) und so weiter. Aber bereits die nun erwähnten Punkte können Studienergebnisse enorm beeinflussen. Wenn eine Trainingsstudie beispielsweise keine verborgene Zuordnung enthält, kann es sein, dass eventuelle Kraftzuwächse von bis zu 40% einzig und allein auf dieses Bias zurückzuführen sind.

Auf der Suche nach der Wahrheit: Je höher die Qualitätsgüte einer Studie, desto wahrscheinlicher ist es, dass die daraus gewonnenen Erkenntnisse der Wahrheit entsprechen. (Bildquelle: Fotolia / sudok1)

Was ist mit meinen Studien?

RCT’s

Im Zusammenhang mit meiner Doktorarbeit führte ich drei RCT’s durch. Alle drei waren verblindet, randomisiert und hatten eine verborgene Zuordnung. Lediglich die erste Studie hatte keine verborgene Zuordnung, was ich auch explizit erwähnte.

Die letzte Studie enthielt außerdem ITT. Als Student ist es nicht leicht, selbst Studien anzuleiten, aber ich bin stolz darauf, dies getan zu haben. Ich habe gemerkt, dass man erst, wenn man selber ein oder zwei Studien durchgeführt hat, versteht, wie wichtig all diese Qualitätsmerkmale in der Forschung sind.

Ein Beispiel

Verwenden wir die Verblindung als Beispiel: Wenn die Ergebnismessungen nicht gerade auf so etwas Objektives, wie den Tod oder ähnliches abzielen, sind sie fast immer anfällig für Biases.

Einer der bekannten Tests der körperlichen Funktion ist beispielsweise der „Get Up and Go“ Test. Für diesen Test muss man von einem Stuhl aufstehen, um ein einige Meter entfernt stehendes Hütchen herumlaufen und sich so schnell wie möglich wieder hinsetzen. Man bekommt dafür normalerweise zwei Versuche.

Der Versuchsleiter kann nun im zweiten Versuch sehr einfach eine bessere Leistung hervorrufen, indem er einfach sagt, „und jetzt versuch, die Zeit für deines ersten Versuches zu toppen!“. Sagt er nichts, ist die Versuchsperson im zweiten Versuch normalerweise nicht besser.

Oder wenn die Kraft gemessen wird, kann der Versuchsleiter einfach der Gruppe, von der er sich wünscht, dass sie besser abschneidet, zwei Versuche mehr geben, ihren 1RM zu erhöhen.

Weitere Messungen, die man vornehmen könnte, um Biases zu minimieren, wären zum Beispiel die Registrierung der Studie im Voraus und die Verblindung der Datenanalyse. Verglichen mit anderen Bereichen sind Trainingsstudien besonders anspruchsvoll, da man die Subjekte persönlich 3-4 Tage pro Woche über mindestens 16-20 Wochen trainieren muss. Ich gebe also zu, dass die Verblindung von Trainern und Testern aus logistischen Gründen einfacher gesagt als getan ist. Dies ist jedoch keine Ausrede.

Es wäre falsch, zu sagen, dass alle Forscher, denen so etwas passiert, Betrüger sind. Biases geschehen oft im Unterbewusstsein, selbst wenn man die besten Absichten hat. Dies schließt mich selbst mit ein. Ich kann immer noch nicht glauben, dass es Journals – sogar Top-Journals – gibt, die Publikationen ohne Verblindung der Tester akzeptieren.

Warum erleben wir in der Wissenschaft eine Replikationskrise?

Replikation

Eine wissenschaftliche Studie wird immer auf der Annahme beruhend durchgeführt, dass deren Ergebnisse gleich blieben, wenn genau die gleiche Studie wiederholt würde. Was wäre denn schon der Aussagegehalt einer Studie, deren Ergebnisse nicht konstant zuträfen, nicht wahr?

Nun ja, es stellte sich heraus, dass wir einen Großteil unserer Studien schlichtweg nicht replizieren können. Einige prominente Beispiele:

• Im Jahr 2012 versuchten 270 Wissenschaftler, 100 der in 3 Top-Journals publizierten Psychologie-Studien zu replizieren. Bei wie vielen schafften sie es? Bei 39. Man kann sich also vorstellen, wie es bei Studien aus weniger etablierten Journals aussehen würde.

Wie steht es mit Forschung im Feld der Medizin?

• Die Krebsforschung des Unternehmens Amgen schaffte es gerade einmal, 3 von 53 „Meilenstein-Studien“ der Krebsbiologie zu replizieren. Bayer versuchte das Gleiche und konnte ganze 65% der Studien nicht replizieren.

Qualitätsmangel

Warum gibt es diese Krise?

Es werden dafür eine ganze Menge Gründe angeführt: Zu kleine Stichproben, Probleme in der Duplizierung der Originalmethoden, konfligierende Interessen, tendenziöse Berichterstattungen und so weiter und so fort.

Viele sehen das Hauptproblem darin, dass zu wenig Wert auf die methodologische Qualität der Studien gelegt wurde. Unglücklicherweise liegt das Hauptaugenmerk immer nur auf der statistischen Signifikanz eines Ergebnisses beziehungsweise auf dem Fehlen derer.

Tatsächlich zeigen 96% der 1981 veröffentlichten Artikel in der Datenbank Medline ein statistisch signifikantes Ergebnis. Das hieße, dass 960 von 1000 Hypothesen der Wissenschaftler stimmten!

Die Wissenschaft steckt in einer Replikationskrise: Die Ergebnisse vieler Studien lassen sich nicht wiederholen. Dies ist durchaus als problematisch zu werten. (Bildquelle: Fotolia / Couperfield)

Der Anreiz der Wissenschaft

Meiner Ansicht nach führen die Wurzeln dieses Qualitätsmangels darauf zurück, wie Wissenschaft belohnt wird.

• Journals werden häufiger zitiert und gelesen, wenn sie von „signifikanten“ Ergebnissen berichten.
• Die Chance, dass die Arbeit eines Wissenschaftlers angenommen wird, ist wesentlich größer, wenn sie signifikante Ergebnisse enthält. An einigen großen Universitäten hängen manchmal sogar das Gehalt und die Sicherheit des Jobs eines Wissenschaftlers von der Anzahl veröffentlichter Arbeiten ab. Dadurch entsteht natürlich ein enormer Druck.
• Studenten werden für ihre Produktivität gepriesen, das heißt, für die Quantität ihrer Arbeiten. Ich wurde häufig als produktiv bezeichnet (ein Begriff, den ich nicht sehr mag). Nie hat jemand mir gegenüber jedoch die Qualität meiner Studien gelobt oder deren Wichtigkeit auch nur erwähnt. Je mehr Studien man veröffentlicht hat, desto besser macht sich der Lebenslauf. Die Qualität seiner Studien ist also das Letzte, um das sich ein Student in der Regel Gedanken macht.
• Rankings und der Impact Faktor werden mithilfe der Zitationsanzahl ermittelt, welche wiederum vor allem von der Anzahl „signifikanter“ Ergebnisse abhängt.
• Keine Honorierung von Replikationen. Kein Journal kümmert sich um Replikationsstudien. Sind schließlich keine heißen Neuigkeiten.

Solange wir nichts daran ändern, wie in der Wissenschaft belohnt wird, fürchte ich, dass sich gar nichts ändern wird. Eine gute Studie braucht oft eine lange Zeit (oftmals Jahre), aber es lohnt sich. Ich bedanke mich für all die Likes, wenn ich meine Studien auf Facebook poste, aber es tut mir leid zu sagen, dass heutzutage nahezu jede Studie veröffentlicht wird. In jedem Feld gibt es hunderte von Journals.

Reviews

Reviews wissenschaftlicher Literatur haben eine sehr wichtige Aufgabe. Ein Review sollte für Leser/Praktizierende der Robin Hood sein, indem es die relevanten Studien eines Forschungsbereiches analysiert und die eventuellen Mängel aufdeckt, die das Peer Review Verfahren übersehen hat.

Kritische Analysen sind DER wichtigste Aspekt des evidenzbasierten Arbeitens. Und im Feld der Trainingswissenschaft sind sie umso wichtiger, da Journals sich hier besonders wenig um die Qualität der Studien scheren. Ich habe es zwar auch gemacht, aber eine Studie zu erklären und hübsch-aussehende Graphen zu übernehmen ist kein Review – das ist eine Zusammenfassung.

Fazit

• Forscher sollten sich Mühe geben, die Qualität von Durchführung und Berichterstattung einer Studie zu verbessern.
• Studenten sollten darüber unterrichtet werden, dass die Studienqualität an erster Stelle stehen sollte, nicht die „Produktivität“ Quantität.
• Ranking- und Belohnungsstrukturen sollten nicht die „Signifikanz“, sondern vor allem die Qualität und Validität von Studien in Betracht ziehen.
• Leser sollten in einer Studie zunächst nach den wichtigsten Qualitätskriterien schauen, bevor er den Ergebnissen vertraut.
• Eine Studie ist nie in der Lage, endgültige Wahrheiten zu entdecken, egal wer der Autor ist oder wo sie veröffentlicht wurde.
• Bedenke, dass all diese Dinge wie Replikation, Qualität, Randomisierung, Methodologie etc. letztendlich alle das Ziel verfolgen, einer schwer fassbaren Wahrheit näherzukommen. Und die beste uns bekannte Methode, der Wahrheit näher zu kommen, ist WISSENSCHAFT. Nichts von dem, was ich hier geschrieben habe, zielt also darauf ab, die Wissenschaft oder Wissenschaftler herunterzumachen; das hier ist einzig und alleine meine ehrliche Einschätzung, wo und wie wir die Welt der Wissenschaft noch verbessern können.

Du fandest diesen Beitrag zum Thema Kraftsport-Studien verstehen lernen informativ & lesenswert – und würdest gerne mehr evidenzbasierte Informationen (Praxis & Theorie) lesen? Dann werde Leser unseres monatlich erscheinenden Magazins, der Metal Health Rx!

Jetzt Metal Health Rx Leser werden!

Lese unser monatlich erscheinendes Magazin für Kraftsportler, Fitness-Nerds & Coaches!

Werde Leser oder hole dir den MHRx Zugang und lese im Gegenzug unser eMagazin für Kraftsportler & Ernährungsinteressierte, die Metal Health Rx*. Du erhältst zudem Zugriff zum stetig wachsenden MHRx Mitgliederbereich, wo hunderte von exklusiven Beiträgen, Studien Reviews und ausführlichen Guides auf dich warten.

*Die Metal Health Rx (kurz "MHRx") ist eine digitale Fachzeitschrift im .pdf Format, die sich speziell an interessierte (Kraft-)Sportler & ernährungs-/gesundheitsbewusste Menschen richtet. Das Magazin wird von unserem, eigens dafür ins Leben gerufenen, MHRx Autoren-Team erstellt und von AesirSports.de verlegt & herausgegben.

 

Mehr erfahren

Bildquelle Titelbild: Fotolia / Sklakova

• Über den Autor
• Aktuellste Beiträge

Über

Anoop Balachandran verfügt über einen PhD in Exercise Physiology, einen Masterabschluss in Human Performance und ist ein ACE und NSCA zertifizierter Personal Trainer und Kraftcoach.

Fitness ist seine leidenschaftliche Passion. Auf seiner Seite ExerciseBiology.com lässt sich Anoop zu einer Vielzahl von Themen aus, die sich um Kraftsport, Leistungssteigerung, Ernährung und eine Verbesserung der Körperkomposition drehen.

Mehr über den Autor erfahren

• (Kraft-)Sport Studien verstehen lernen | Was ist ein P-Value? -
• Ass to Grass: Sind tiefe Kniebeugen schlecht für die Knie? -
• (Kraftsport-) Studien verstehen lernen | Anleitung zur Beurteilung der Qualität eines (Forschungs-) Artikels -
• Erhalt der Körperfunktionalität im Alter: Körperlicher Ertüchtigung & Lebensqualität -

Alle Beiträge ansehen

Werde zum Fitness- & Ernährungsexperten!

Schlanker, stärker, ästhetischer, gesünder!

Abonniere unseren Newsletter und erhalte - neben weiteren hochwertigen und einzigartigen Infos rund um Fitness, Gesundheit & Ernährung - regelmäßige Updates und Neuigkeiten rund um Aesir Sports.

 

Zur Newsletter-Anmeldung