Nach der Beschreibung der Stichprobe folgt die Zusammenfassung der Ergebnisse („Relevante Ergebnisse“). EBP-Begriffe wie z. B. „gewichtete mittlere Differenz“ können Sie im Glossar nachschlagen (den Link finden Sie in der Navigationsleiste unter „Gehe zu“).

Unter der Überschrift „Diskussion/Schlussfolgerungen“ folgt eine kurze Zusammenfassung der Diskussion und Schlussfolgerungen der Autor:innen der Studie. Manchmal – vor allem in systematischen Reviews und Metaanalysen – sprechen die Autor:innen „Empfehlungen für die Praxis“ aus, die sich ihrer Ansicht nach aus den Befunden ihrer Arbeit ableiten lassen. Diese finden Sie unterhalb des Abschnitts „Diskussion/Schlussfolgerungen“ unter der Überschrift „Empfehlungen für die Praxis“.

Weder der Abschnitt „Diskussion/Schlussfolgerungen“ noch „Empfehlungen für die Praxis“ enthalten eine Einschätzung des DVE. Diese folgt weiter unten ab „Kommentar des DVE“.

Unterhalb der Studienzusammenfassung, im „Kommentar des DVE“, finden Sie einerseits Angaben, die der DVE dem Volltext der Originalarbeit entnommen hat:

• eine Beschreibung der Beteiligung der Ergotherapie an der Studie,
• Angaben zur Finanzierung der Untersuchung (sofern von den Studien-Autor:innen angegeben),
• einen Hinweis, ob die Autor:innen die Studie im Vorfeld bei einem Studienregister angemeldet und/oder ein Studienprotokoll veröffentlicht haben (nur so lässt sich nachprüfen, ob die Studie wie geplant durchgeführt, ausgewertet und publiziert wurde) und
• ggf. ein Quellenverzeichnis.

Zudem finden Sie an dieser Stelle teilweise Kommentare des DVE, die sich meist entweder auf die methodische Qualität und/oder auf die Berichtsqualität bzw. die Transparenz der Angaben der Autor:innen beziehen. Diese sollen Ihnen die kritische Bewertung (Critical Appraisal) erleichtern: Die Einschätzung, welche Faktoren bei der Planung, Durchführung oder Auswertung der Untersuchung oder welche Unklarheiten im Artikel die Vertrauenswürdigkeit der Ergebnisse dieser speziellen Studie beeinflussen könnten. Teilweise geht es auch um die externe Validität, insbesondere um die Frage, ob und wie die Ergebnisse einer Studie aus Sicht des DVE auf die Situation in Deutschland übertragbar sind.

Prospektive kontrollierte Studien (mit und ohne Randomisierung), systematische Reviews und Metaanalysen (Ausnahmen: Scoping Reviews und die meisten Cochrane Reviews) hat der DVE anhand standardisierter Instrumente beurteilt:

• (Randomisierte) kontrollierte Studien anhand der PEDro-Skala (partitioned) (Quellen und nähere Informationen: Tooth et al. 2005; Maher et al. 2003; OTseeker: https://www.otseeker.com/ und PEDro: https://pedro.org.au/. Deutsche Übersetzung mit Erläuterungen: https://pedro.org.au/german/resources/pedro-scale/)
• Systematische Reviews und Metaanalysen mittels AMSTAR 2 (Quellen und nähere Informationen: Shea et al. 2017; https://amstar.ca/Amstar-2.php) oder – bei älteren Datenbankeinträgen – mittels PRISMA-Statement in der Version von 2009 (Liberati et al. 2009; deutsche Übersetzung von Ziegler et al. 2011)

Diese Bewertungen finden Sie unterhalb vom „Kommentar des DVE“. Die Einschätzung erfolgt durch zwei Kolleginnen des EBP-Teams im DVE. Abweichungen in der kritischen Bewertung werden diskutiert. Bei Bedarf wird eine dritte Kollegin hinzugezogen, um die Entscheidung zu treffen.

Die Gesamtbewertung hohes, moderates, geringes und sehr geringes Vertrauen soll lediglich eine orientierende Filtermöglichkeit für Ihre Treffer bieten. Entscheidend ist Ihre Einschätzung, unterstützt vom „Kommentar des DVE“, und den Bewertungen der einzelnen Items vom AMSTAR 2, PRISMA oder der PEDro-Skala (s. o.). Dennoch möchten wir kurz erläutern, wie die Gesamtbewertung zustande kommt.

Bei systematischen Reviews und Metaanalysen, die der DVE mittels AMSTAR 2 beurteilt hat, ergibt sich die Gesamtbewertung direkt aus den Ergebnissen des Instruments (s. Abb.): Das Vertrauen in die Ergebnisse einer Arbeit kann demnach zusammenfassend entweder als hoch („high“), mäßig („moderate“), gering („low“) oder sehr gering („critically low“) eingeschätzt werden, je nachdem, wie viele und welche Schwachstellen ein systematischer Review enthält (Quelle: https://amstar.ca/Amstar-2.php):

• Hohes Vertrauen: Keine oder maximal eine nicht kritische Schwäche: Der systematische Review bietet eine korrekte und umfassende Zusammenfassung der Ergebnisse der verfügbaren Studien, die sich mit der untersuchten Fragestellung befassen.
• Mäßiges Vertrauen: Mehr als eine nicht kritische Schwäche: Der systematische Review hat mehr als eine Schwäche, aber keine kritischen Mängel. Er könnte eine korrekte Zusammenfassung der Ergebnisse der verfügbaren Studien bieten, die in den Review eingeschlossen wurden. (Bei mehreren oder gar zahlreichen nicht kritischen Schwächen kann die Gesamtbewertung auf „geringes Vertrauen“ herabgesetzt werden.)
• Geringes Vertrauen: Ein kritischer Mangel mit oder ohne nicht kritische Schwächen: Der Review hat einen kritischen Mangel. Es kann sein, dass er keine korrekte und umfassende Zusammenfassung der verfügbaren Studien darstellt.
• Sehr geringes Vertrauen: Mehr als ein kritischer Mangel mit oder ohne nicht kritische Schwächen: Der Review hat mehr als einen kritischen Mangel. Daher sollte man nicht darauf vertrauen, dass er die verfügbaren Studien korrekt und umfassend zusammenfasst.

Laut Shea et al. (2017) können vor allem Mängel in folgenden Bereichen kritisch sein:

• Registrierung des Studienprotokolls vor Beginn des Reviews (Item 2)
• Literatursuche angemessen (Item 4)
• Begründung des Ausschlusses für jede ausgeschlossene Studie (Item 7)
• Bias-Risiko der einzelnen eingeschlossenen Studien (Item 9)
• Eignung der metaanalytischen Methoden (Item 11)
• Berücksichtigung des Bias-Risikos bei der Interpretation der Ergebnisse des Reviews (Item 13)
• Einschätzung des Vorhandenseins und der wahrscheinlichen Auswirkungen von Publikationsbias (Item 15)

Da der DVE anfangs die methodische und Berichtsqualität eines systematischen Reviews anhand des PRISMA-Statements transparent gemacht hat, sind früher eingestellte systematische Reviews und Metaanalysen noch nicht mit AMSTAR 2, sondern mit dem PRISMA-Statement beurteilt. Auch das PRISMA enthält Anhaltspunkte, die bei der kritischen Bewertung eines systematischen Reviews wichtig sein können (s. Abb.) – obwohl es eigentlich als Leitfaden für Review-Autor:innen entwickelt wurde (es beschreibt, welche Punkte die Publikation enthalten sollte, um transparent und qualitativ hochwertig zu sein). Die Zuordnung zur Gesamtbewertung „hohes Vertrauen“, „moderates Vertrauen“ usw. erfolgte bei der Übertragung der EBP-Datenbank ins neue Format zunächst automatisiert anhand von Cutoff-Werten (hohes Vertrauen: 25-27 Punkte; moderates Vertrauen: 22-24 Punkte; geringes Vertrauen: 17-21 Punkte; sehr geringes Vertrauen: 0-16 Punkte). Da die Bildung eines Gesamtscores aus dem PRISMA-Statement, noch dazu mit gleicher Gewichtung aller Items, nicht sinnvoll ist, sollen diese Bewertungen nach und nach durch AMSTAR 2 ersetzt werden.

Bei Cochrane Systematic Reviews hat der DVE in den meisten Fällen auf eine Bewertung mittels AMSTAR 2 (früher: PRISMA) verzichtet und direkt die Bewertung „hohes Vertrauen“ vergeben, da aktuelle Cochrane Reviews strengen methodischen Anforderungen unterliegen, u. a. den MECIR-Standards (Methodological Expectations of Cochrane Intervention Reviews). Einer Recherche von Braun et al. (2023) zufolge hatten 86 % der Cochrane Reviews in der Datenbank KSR Evidence ein geringes Risiko für systematische Verzerrungen (Bias). Bei den anderen stichprobenmäßig für das Jahr 2020 überprüften systematischen Reviews waren es nur 10 %.

Cochrane Reviews sind in der EBP-Datenbank mit dem Cochrane-Logo gekennzeichnet (s. Abb.).

Prospektive (randomisierte) kontrollierte Studien bewertet der DVE mit der PEDro-Skala. In den Studienzusammenfassungen finden Sie die PEDro-Skala (partitioned), bei der die Bereiche „Interne Validität“, „Statistischer Bericht“ und „Auswahlkriterien“ getrennt dargestellt werden (s. Abb.).

Der PEDro-Gesamtscore wird aus den Items der ersten zwei Bereiche gebildet, wobei alle Items (1-10) gleich gewichtet werden. Das Item „Auswahlkriterien spezifiziert“ fließt nicht in den Gesamtwert ein.

Für die Zuordnung einer RCT/CCT zu den Filtern „Kritische Bewertung“ werden folgende Cutoff-Werte verwendet: hohes Vertrauen: 9-10 Punkte; moderates Vertrauen: 7-8 Punkte; geringes Vertrauen: 4-6 Punkte; sehr geringes Vertrauen: 0-3 Punkte.

Wie beim PRISMA gilt auch bei der PEDro-Skala: Eigentlich ist die Bildung eines Summenscores bei gleicher Gewichtung der Items nicht sinnvoll. Das ist einer der Gründe, weshalb das deutlich flexiblere AMSTAR 2 entwickelt wurde. Manche Aspekte, die für die Vertrauenswürdigkeit einer Studie wichtig sind, werden bei der Bewertung mit der PEDro-Skala evtl. gar nicht berücksichtigt (z. B. ob die verwendeten statistischen Verfahren überhaupt geeignet waren). Dennoch ist die PEDro-Skala ein bewährtes Instrument zur kritischen Bewertung von (randomisierten) kontrollierten Studien und enthält viele Aspekte, die für die kritische Bewertung wichtig sind.

Fazit: Die Gesamteinschätzung des DVE bei „Kritische Bewertung“ kann Ihnen helfen, Ihre Ergebnisse zu filtern, falls Sie zu viele Treffer erhalten. Allerdings ist ihre Aussagekraft begrenzt, insbesondere wenn die Bewertungen auf PRISMA- oder PEDro-Gesamtscores basieren. Deshalb gilt: Betrachten Sie nach Möglichkeit immer alle Treffer und machen Sie sich Ihre eigenen Gedanken zur kritischen Bewertung. Die Berücksichtigung der einzelnen Items von AMSTAR 2, PRISMA und PEDro ist stets aussagekräftiger als die Gesamteinschätzung bei „Kritische Bewertung“.