Validierung des Bewertungsbogens für Point-of-Care Ultraschalluntersuchungen (VALPOCUS)

Abstract

Hintergrund und Zielsetzung: In den vergangenen Jahren hat die Point-of-Care Ultraschalluntersuchung (POCUS) im Bereich der Intensiv- und Notfallmedizin an Stellenwert gewonnen. Dabei gibt es zunehmend Evidenz für die Vorteile der POCUS-Anwendung. Beispielsweise wird die Zeit bis zur Diagnosestellung verkürzt und das Patientenoutcome verbessert. Die Ausbildungs- und Evaluationsstrukturen sind jedoch heterogen. Das Ziel der Arbeit war die Erstellung und Validierung eines Bewertungsbogens für POCUS-Anwender. Methodik: Nach einer Literaturrecherche wurde mittels Delphi-Methode ein Bewertungsbogen erstellt. Zur Validierung des Bewertungsbogens führten Ärzte und Studierende eine POCUS- Untersuchung durch. Diese Untersuchung wurde mit Hilfe des Bewertungsbogens und - davon unabhängig - durch Experten beurteilt. Diese Bewertungen wurden im Anschluss miteinander korreliert. Zur Bestimmung der Objektivität des erstellten Bewertungsbogens wurde die Inter- Rater-Reliabilität zwischen zwei unabhängigen Bewertern erhoben. Ergebnisse: Im Rahmen der Delphi-Umfrage konnte für zwölf Bewertungskriterien ein Konsens erreicht werden. Insgesamt wurden 70 Point-of-Care Untersuchungen eingeschlossen. Davon wurden 19 Untersuchungen durch Ärzte und 51 durch Studierende durchgeführt. Für den Bewertungsbogen konnte eine Inter-Rater-Reliabilität nach Cohens Kappa von 0.778 (linear gewichtet, SEM 0.37, p < 0.001) und nach Krippendorff‘s alpha von 0.895 gezeigt werden. Die Mittelwerte der Ergebnisse des adaptierten Bewertungsbogens und der Expertenbewertungen differierten um 2.6% (46.9% Bogen vs. 44.2% Experten). Die Korrelation zwischen den beiden Bewertungsmethoden betrug nach Pearson 0.691 (p < 0.001). Schlussfolgerung: Für den Bewertungsbogen konnte eine gute Validität und Objektivität demonstriert werden. Die Validität spiegelt sich in der starken Korrelation der Bewertungen des Bogens mit den Expertenbewertungen wider. Darüber hinaus unterschieden sich die Ergebnisse des Bewerbungsbogens und der Experten nur geringfügig. Die hohe Inter-Rater- Reliabilität weist auf eine objektive Bewertung hin. Ob der Bogen auf andere POCUS- Protokolle und Szenarien übertragbar ist, muss in weiteren Studien untersucht werden. Der Bewertungsbogen stellt eine gute Möglichkeit dar, Point-of-Care Ultraschall Anwender zu bewerten und könnte beispielsweise in der POCUS Aus- und Fortbildung eingesetzt werden.

Title: Validation of the Assessment Tool for Point-of-Care Ultrasound (VALPOCUS) Background and Objective: In recent years, point-of-care ultrasound (POCUS) has gained increasing importance in intensive care and emergency medicine. There is growing evidence supporting the benefits of POCUS application, such as a reduced time to diagnosis and improved patient outcomes. However, training and evaluation structures remain heterogeneous. The aim of this study was to develop and validate an assessment tool for POCUS users. Methods: Following a literature review, a Delphi-method was used to develop an assessment tool. To validate the tool, physicians and medical students performed a POCUS-examination. These examinations were evaluated using the newly developed assessment tool and, independently, by expert reviewers. The correlation between these evaluations was afterwards analyzed. To determine the objectivity of the assessment tool, the inter-rater reliability between two independent evaluators was assessed. Results: Consensus was reached for twelve evaluation criteria in the Delphi-survey. A total of 70 point-of-care ultrasound examinations were included, with 19 performed by physicians and 51 by medical students. The assessment tool demonstrated an inter-rater reliability of 0.778 (linearly weighted Cohen’s kappa, SEM 0.37, p < 0.001) and a Krippendorff’s alpha of 0.895. The mean scores obtained using the adapted assessment tool and those given by experts differed by 2.6% (46.9% assessment tool vs. 44.2% experts). The correlation between both evaluation methods was 0.691 (Pearson, p < 0.001). Conclusion: The assessment tool demonstrated good validity and objectivity. The strong correlation between the assessment tool scores and expert evaluations supports its validity. Moreover, the results from the assessment tool and expert ratings showed only minor differences. The high inter-rater reliability suggests an objective evaluation process. Further studies are needed to determine whether the tool can be applied to other POCUS protocols and scenarios. The assessment tool provides a valuable opportunity to evaluate POCUS users and could be implemented in POCUS training and continuing education programs.