Meta-Analysen geben Orientierung, was in einem bestimmten Themenbereich tatsächlich wirkungsvoll ist, zum Beispiel was Disziplinen wie Coaching, Lernen oder Teamarbeit erfolgreich macht. Durch Künstliche Intelligenz (KI) kann die Entwicklung von Meta-Analysen erheblich beschleunigt werden – mit der Gefahr, dass dabei die Qualität verwässert.
How to Meta-Analyse
Hier eine grobe Anleitung zur Erstellung von Meta-Analysen. Eine ausführliche Anleitung für Meta-Analysen findest du z.B. im meinem Schritt-für-Schritt-Artikel oder auf Wikipedia.
- Rahmensetzung: Definiere Ziele und eine Forschungsfrage, erstelle ein Protokoll und definiere Inklusions- und Exklusionskriterien definieren
- Datenerhebung: führe die strukturierte Literaturrecherche aus und identifiziere die relevanten Studien und deren Ergebnisse
- Datenextraktion: entnimm die relevanten Datenpunkte (Stichprobengröße, Studiendesign, Interventionen, Vergleichsgruppen, Ergebnisse mit Effektstärken & Konfidenzintervallen, methodische Qualität) aus den Studien
- Datenanalyse und Synthese: berechne die gepoolten Effektstärken und mache eine Heterogenitätsanalyse
- Ergebnisse interpretieren im Kontext der Forschungsfrage und der vorhandenen Literatur
Meta-Analysen mit KI
Es gibt 2 Spielweisen beim Einsatz von KI für Meta-Analysen:
- die weiterhin sorgfältige Schritt-für-Schritt-Durchführung von strukturierten Literaturrecherchen, in der das sorgfältige Vorgehen und die Qualitätskriterien eingehalten werden, aber durch KI beschleunigt.
- und die Quick & Dirty Meta-Analyse als massiv-beschleunigte Durchführung ohne Rücksicht auf die wissenschaftlichen Gütekriterien, indem eine KI auf Grundlage ihrer vorhandenen oder leicht zugänglichen Daten eine schnelle Schätzung der Effektstärken durchführt.
Spielweise 1: Gründliche Meta-Analyse mit phasenweiser KI-Unterstützung
Künstliche Intelligenz kann bei allen 5 Schritten der Meta-Analyse unterstützen und Prozesse beschleunigen:
- Rahmensetzung: Vorschläge für Forschungsfragen formulieren und Recherche in Datenbanken
- Datenerhebung: Vorschläge für geeignete Studien
- Automatisierung der Datenextraktion aus den Studien
- Datenanalyse: Erkennung von Mustern, Subgruppenanalysen, Ermittlung der Effektstärken;
die Durchführung komplexer statistischer Berechnungen sollte lieber von einem Algebra-Modell durchgeführt werden. - KI als Sparring-Partner für die Interpretation, Zusammenfassungen schreiben
Spielweise 2: Quick & Dirty Meta-Analysen mit KI
Mit einem groben Prompt können KIs wie ChatGPT ihr vorhandenes Wissen und ggf. auch Publikations-Datenbanken, auf die sie Zugriff haben in wenigen Sekunden durchsuchen, die Datenanalyse durchführen und eine Interpretation liefern, wie ich es beispielsweise für das Thema Coaching ausgeführt habe.
Dies ist natürlich nicht sauber im wissenschaftlichen Vorgehen, aber unschlagbar schnell und dennoch nützlich. Und angesichts dessen, dass die Ermittlung von Effektstärken als Cohen’s d ja auf der statistischen Mittelwertbildung von möglichst vielen Daten basiert und LLMs eben besonders schnell große Datenmengen schnell durchforsten und reduzieren können, dürften die Ergebnisse im Allgemeinen näherungsweise brauchbar sein.
Es wäre eine interessante Studie für sich, in Bereichen, in denen es noch keine Meta-Analysen gibt, die KI-Varianten mit sorgfältigen menschlichen Analysen zu vergleichen, um ein Maß für die Robustheit dieser Vorgehensweise zu erlangen.
Diese 2. Spielweise erscheint mir hier interessanter, da sie einen höheren Innovationsgrad hat. Sie bietet eine Orientierung, um ohne lange Recherche ein Gefühl zu bekommen für wesentlichen Wirkfaktoren. Wenn die Ergebnisse nicht nur der Recherche dienen, sondern auch eingesetzt werden für Entscheidungsfindung, Beratung oder Lehre, ist die qualitative und kontextuelle Einordnung wichtig.
 |  |
Anwendungshorizont von Quick & Dirty KI-Meta-Analysen
Diese Quick & Dirty KI-Meta-Analysen sind vor allem geeignet für explorative Analysen und zur Entwicklung und Überprüfung von Hypothesen, bei denen es weniger auf wissenschaftliche Rigorosität ankommt.
Diese Vorgehen eignet sich aber nicht als Entscheidungsgrundlage in kritischen wissenschaftlichen oder medizinischen Bereichen, bei denen verlässliche und genaue Daten erforderlich sind.
Prompts und GPTs für Meta-Analysen mit KI
Je nach Anspruch an die Ergebnisse, Dokumentation und wissenschaftliche Akzeptanz stelle ich 3 unterschiedliche Reifegrade vor für KI-Meta-Analysen.
1. Prototypische Meta-Analyse
Wenn dich die Ergebnisse und die wissenschaftliche Güte gar nicht im Detail interessieren, kann KI eine sehr schnelle, prototypische Meta-Analyse liefern.
Beispiel-Prompt für die Meta-Analyse mit ChatGPT:
Nenne Wirkungsfaktoren für {Organisationsentwicklung} und schätze deren Effektstärken als Cohen’s d. Erstelle daraus eine Tabelle mit Wirkfaktoren, deren Effektstärken und einer prägnanten Erklärung, die hintere Spalte sollte eine Fußnote in eckigen Klammern [1] enthalten, unter der Tabelle die Liste mit Quellenangaben zu den Fußnoten, die dir bei der Schätzung der Wirkfaktoren geholfen haben.
[1]..
[2]..
Korrekturen für gründlichere Ergebnisse:
Wiederhole das Vorgehen als umfassende Analyse mit echten Quellen, wiederhole die Recherche solange, bis du mindestens 20 vorhandene Studien durchforstet hast, identifiziere mindestens 10 Faktoren, und dann erstelle eine zweite Tabelle mit ein paar wirkungslosen und schädlichen Faktoren zum Vergleich.
2. Schritt-für-Schritt-Vorgehen mit KI-Unterstützung
Beispiel-Prompt:
Hilf mir bei einer wissenschaftlichen Meta-Analyse über Wirkungsfaktoren für {Organisationsentwicklung} und deren Effektstärken als Cohen’s d. Gehe dafür Schritt für Schritt mit mir durch den Prozess und dokumentiere jeden Schritt sorgfältig und stelle sicher, dass das wissenschaftlich saubere Vorgehen eingehalten wird.
1. Formuliere eine für eine Meta-Analyse passende Fragestellung.
1.1 Nenne Kriterien, nach denen Studien integriert oder ausgeschlossen werden, erlaube auch wissenschaftlich renommierte qualitative empirische Studien und integriere sie in die folgende Analyse und Schätzung.
2. Recherchiere nach dazu passenden, realen, peer-reviewten Studien und wähle möglichst viele geeignete aus, mindestens 20-30 Studien. Überprüfe, ob es die Studien wirklich gibt.
3. Ermittle möglichst komplementäre Wirkfaktoren und deren Effektstärken. Wenn es keine verfügbaren Daten gibt, schätze die Effektstärken.
4. Erstelle eine Tabelle mit Wirkfaktoren, deren Effektstärken und einer prägnanten Erklärung. Die hintere Spalte enthält Fußnoten in eckigen Klammern [1,2], unter der Tabelle eine Liste mit Quellenangaben zu den Fußnoten, die dir bei der Schätzung der Wirkfaktoren geholfen haben.
5. Wiederhole das Vorgehen und ergänze die Tabelle um a) zu den wirksamsten Faktoren möglichst komplementäre, out-of-the-box-Faktoren und ermittle der Effektstärken b) kaum wirksame und schädliche Faktoren.
6. Reflektiere kritisch für die wissenschaftliche Gemeinschaft deine Analyse und zeige Schwachstellen auf.
7. Erkläre an einem Beispiel, wie du die Effektstärke ermittelt hast. Nenne die Wirkfaktoren, die du selbst geschätzt hast und begründe deine Schätzung an einem Beispiel.
3. Maßgeschneiderter KI-Agent
KI-Modelle wie ChatGPT tendieren zu Verallgemeinerung und können dadurch die Ergebnisse verwässern oder einen kurzen Prompt falsch verstehen. Durch 2. soll bereits sichergestellt werden, dass jeder Schritt einzeln gründlich geprüft wird – dies ist wiederum aufwendig. Durch die Anwendung von KI-Agenten wird eine stärkere Kontrolle über das Vorgehen und die Qualität möglich. Im GPT Store von OpenAI gibt es mehrere dazu veröffentlichte spezialisierte GPTs, mit durchwachsener Qualität, die im besseren Fall durch die Schritt-für-Schritt-Analyse führen, im schlechteren wirre durcheinandergewürfelte Studien zitieren.
Update: Ich habe daher nun einen eigenen GPT dazu spezialisiert, mit dessen Ergebnissen ich weitestgehend zufrieden bin. Es genügt, ihm ein Stichwort zu geben und er erstellt die gewünschte Tabelle mit Wirkfaktoren und Effektstärken: