IQTIG-Methodenpapier

26.02.2017 Stellungnahme zum Methodenpapier des IQTIG “Methodische Grundlagen” Version V1.0s (Fortsetzung 5 und Schluss) 3.3.3. Validität von Indikatoren Die Ansicht, Indikatoren wären als Instrumente der Qualitätsmessung anzusehen, und die daraus resultierenden Ungenauigkeiten in der Definition von Indikatoren gipfelt letztendlich in einem fragwürdigen und nicht korrekten Verständnis der Validität von Indikatoren. Wie in Abb. 2 im oberen Abschnitt ausgeführt, resultiert ein lineares Messverfahren, wie es im Methodenpapier des IQTIG für Indikatoren angenommen wird, in einem Verständnis von Validität, das sich darauf bezieht, ob das Messergebnis (z.B. Rate postoperativer Wundinfektionen oder Mortalität) richtig wiedergegeben wird (die Reliabilität gibt die Zuverlässigkeit des Messvorganges wieder). Verwendet man aber Indikatoren richtigerweise als Monitoring-Instrumente (Abb. 2 untere Hälfte), besteht deren Validität nicht darin, das Indikatorziel richtig zu messen, sondern Anlass für weitere Evaluationsschritte zu geben und damit die Qualität als Einflussfaktor auf die Varianz der Leistungserbringung zu beschreiben⁵. Die oben ausgeführte Notwendigkeit, Indikatoren hoch-sensitiv einzustellen, bezieht sich also auf deren Reliabilität, die Fähigkeit, das Indikatorziel (z.B. Mortalität) richtig zu erkennen; die Validität entspricht der Fähigkeit, diese Ereignisse mit der Qualität der Leistungserbringung in Zusammenhang zu bringen. Es ist dabei selbsterklärend, dass Indikatoren, die nicht reliabel sind (z.B. Abrechnungsdaten bei nosokomialen Infektionen), nie valide Indikatoren abgeben können (eine defekte Flinte (Reliabilität) kann nicht immer bzw. häufig treffen (Validität), höchstens per Zufall). Zusammenfassend kann also festgehalten werden, dass im Konzept des IQTIG, bedingt durch das Verständnis von Indikatoren als lineare Messinstrumente, die Reliabilität von Indikatoren als Validität fehlinterpretiert wird. Diese Vertauschung begegnet dem aufmerksamen Beobachter im Gesundheitswesen häufig: so wird beklagt, dass sich eine zu hohe Rate von Katheterinfektionen in der §137a-Dokumentation bei der näheren Nachprüfung vor Ort als falsch herausgestellt hätte, denn einige Katheterinfektionen seien fehldokumentiert worden (falsch-positiv) – dieser Indikator sei eben „unspezifisch“, also „nicht valide“. Diese häufige Ansicht beschreibt wie unter dem Vergrößerungsglas die ganze Misere, denn niemand fragt nach, oder der Indikator alle tatsächlich vorliegenden Katheterinfektionen erkannt hat, also (wie verlangt) hoch-sensitiv ist, und dabei sozusagen nebenbefundlich auch falsch-positive Befunde ergeben hat. Dazu müsste man allerdings mit einer Goldstandard-Methode (z.B. NI-Dokumentation nach CDC-Kriterien) nachsehen, wie viele Katheterinfektionen tatsächlich im fraglichen Zeitraum vorlagen, und mit den durch die QS-Dokumentation erfassten Zahlen vergleichen. Der Indikator wäre also von hoher Reliabilität, wenn er alle Infektionen identifiziert hätte, und von hoher Validität, wenn sich z.B. im Rahmen eines Peer Review-Verfahrens herausgestellt hätte, dass den Infektionen Qualitätsmängel zugrundgelegen haben. Das Methodenpapier des IQTIG lässt indirekt erkennen, dass diese grundlegende Unstimmigkeit durchaus nicht ganz ohne Aufmerksamkeit geblieben ist. Aus der nicht zutreffenden Verwendung der Begriffe Reliabilität und Validität erwächst nämlich die Schwierigkeit, den Terminus der Validität von Indikatoren positiv zu definieren. Das Methodenpapier versucht diese Situation so zu lösen, dass der Begriff der Validität ganz umgangen wird, und es versteigt sich zu der Ansicht, dass der Begriff der Validität im Gesundheitswesen nicht zu verwenden sei. Unter der Überschrift „Validität und Korrektheit der Berechnungsspezifikation“ heißt es auf S. 95f (Hervorh. der Verf.): „Unter der Validität einer Messung wird das Ausmaß verstanden, in dem der Indikator tatsächlich das abbildet, was er zu messen vorgibt (…). Dieses Kriterium stammt aus der Psychometrie und bezieht sich auf latente, nicht direkt beobachtbare Messgrößen wie etwa Intelligenz oder Persönlichkeitsmerkmale. Auf Qualitätsindikatoren, die direkt messbare Größen abbilden sollen, wie etwa Mortalität, Komplikationsraten oder ähnliches, lässt sich dieses Konzept demnach nicht übertragen. Dies trifft vor allem auf Qualitätsindikatoren zu, die auf der Dokumentation durch die Leistungserbringer oder auf Sozialdaten bei den Krankenkassen basieren. Die Validität der Messung solcher Indikatoren wird im Wesentlichen dadurch bestimmt, dass die Berechnungsvorschrift für den Indikatorwert angemessen und korrekt spezifiziert ist (siehe Abbildung 9). Beispielsweise ist der Indikator „Krankenhaussterblichkeit bei Behandlung ambulant erworbener Pneumonien“ nur zu dem Ausmaß valide, zu dem korrekt festgelegt wurde, welche Daten das Merkmal „Sterblichkeit“, den Zeitraum „Kranken-hausaufenthalt“ sowie die Nenner-Population des Indikators („Pneumonie“ und „ambulant erworben“) beschreiben.“ Mit anderen Worten, das IQTIG ist der Ansicht, dass der Begriff der Validität, der nach allgemeiner Übereinkunft zentral im Verständnis von Indikatoren ist, für Qualitätsindikatoren im Gesundheitswesen nicht anwendbar ist. Nur der Vollständigkeit halber soll darauf verwiesen werden, dass z.B. im QM-Curriculum der Bundesärztekammer, KBV und der AWMF die Validität von Indikatoren folgendermaßen definiert wird: „Gültigkeit. Grad der Genauigkeit, mit dem ein Testverfahren das misst, was es messen soll. Die Validität ist das wichtigste, jedoch auch das am schwierigsten zu bestimmende Gütekriterium (siehe auch → Reliabilität). Nach der Bestimmungsmethode werden verschiedene Gültigkeiten voneinander unterschieden (z.B. Konstruktvalidität, Augenscheinvalidität etc.)“ (S. 81f). Die Literatur zur Validität von Indikatoren ist unübersehbar groß. Es sei hier die Formulierung der Joint Commission herausgegriffen (JCAHO 1991): “Degree to which indicators identify events that merit further review.” Im Methodenpapier des IQTIG wird der Begriff der Validität stattdessen ersetzt durch die Spezifizierung des Messwertes. Man kann abschließend nur darauf hinweisen, dass die hier zutage tretende Ansicht nur aus dem im Methodenpapier vertretenen Qualitäts- und Indikatorenverständnis zu interpretieren ist. Eine Basis für einen sinnvollen Umgang mit der Thematik der Qualitätsindikatoren stellt sie nicht dar. Zusammenfassend muss festgehalten werden, dass das Methodenpapier des IQTIG die Begriffe der Reliabilität und Validität von Indikatoren nicht zutreffend differenziert. Es wird im vorliegenden Methodenpapier im Gegensatz zur allgemein (national und international) vertretenen Ansicht die Behauptung aufgestellt, es gäbe keine sinnvolle Anwendung des Begriffes Validität auf Qualitätsindikatoren. Dieser Ansicht kann man nicht beipflichten. ------- ⁵Es folgt hieraus zwangsläufig, dass Indikatoren, die risikoadjustiert werden müssen, weniger geeinget sind, Prozessparameter dagegen direkte Konsequenzen haben können. So ist ein niedriger Verbrauch von Händesdesinfektionsmitteln immer von einer mangelnden Händedesinfektion gefolgt, ohne dass eine Risikoadjustierung notwendig ist. Literatur Agency of Healthcare Research and Quality (AHRQ) (2017): The Six Dimensions of Health Care Quality, https://www.ahrq.gov/professionals/quality-patient- safety/talkingquality/create/sixdomains.html, letzter Zugriff 18.2.2017 Arah, O.A. (2006), Westert, G.P., Hurst, J., Klazinga, N.S.: A Conceptual Framework for the OECD Health Care Quality Indicators Project. Int. J. Qual. Health Care 18, 5-13 Berwick, D.M. (2003), James, B., Coye, M.J.: Connections Between Quality Measurement and Improvement. Med. Care 41, Suppl. 1: 30-8 Berwick, D.M. (2008): The Science of Improvement. JAMA 299, 1182-84 Bundesärztekammer (2007), Kassenärztlicher Bundesvereinigung, Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (Hrsg.), M. Schrappe, R. Klakow- Franck, W. Müller, B. Gibis, M. Brüggemann, M. Kelterbaum (Redaktion): Curriculum Ärztliches Qualitätsmanagement, 4. überarbeitete Auflage, ISSN 0945-1951 Campbell, S. (2010), Reeves, D., Kontopantelis, E., Middleton, E., Sibbald, B., Roland, M.: Quality of Primary Care in England with the Introduction of Pay for Performance. N. Engl. J. Med. 357, 181-190 DIN-TERM online, http://www.din.de/de/service-fuer-anwender/din-termonline, registrierungspflichtige Datenbank, letzter Zugriff 18.2.2017 Donabedian, A. (1990): The Seven Pillars of Quality. Arch. Path. Lab. 114, 1115-8 Frosch, D.L. (2010), Härter, M., Simon, D., Mulley, A.G.: Variation und Verteilungsgerechtigkeit. Patientenpräferenzen berücksichtigen. Dtsch. Aerztebl. 107, A 2100-4 Geraedts, M., de Cruppé, W. (2011): Wahrnehmung und Nutzung von Qualitätsinformationen durch Patienten. In: Klauber, J., Geraedts, M., Friedrich, J., Wasem, J. (Hrsg.): Krankenhausreport 2011. Schattauer, Stattgart, S. 93-104 Institute of Medicine (2001): Crossing the Quality Chasm: A New Health System for 21th Century. National Academy Press, Washington JCAHO (1991): Primer on Indicator Development and Application, Joint Commission on Accreditation of Healthcare Organizations. One Renaissance Blvd, Oakbrook Terrace, Illinois 60181 Marshall, M.N., Pronovost, P., Dixon-Woods, M. (2013): Promotion of Improvement as a Science. Lancet 381, 419-21 Schoen, C. (2011), Osborn, R., Squires, D., Doty M., Pierson, R., Applebaum, S.: New 2011 Survey of Patients with Complex Care Needs in Eleven Countries Finds That Care is Often Poorly Coordinated. Health Aff. 20, 2437-42 Schrappe, M. (2014): Qualität 2030 – die umfassende Strategie für das Gesundheitswesen. Mit einem Geleitwort von Ulf Fink und Franz Dormann. Medizinisch Wissenschaftliche Verlagsgesellschaft, Berlin Schrappe, M. (2016): Vortrag “Indikatorenkonzept und KHSG: neue Anforderungen und Weiterentwicklung“, 15. Deutscher Kongress für Versorgungsforschung, Urania, Berlin, 6.10.2016 Schrappe, M. (2017): Planungsrelevante Qualitätsindikatoren. Impulsvortrag. Tagung „Qualität im Krankenhaus. Fluch und Wirklichkeit?!“ Evangelischer Verbund Ruhr, 5. EVR-Forum, Bochum 15.2.2017 Sens, B. (2007), Fischer, B., Bastek, A., Eckardt, J., Kaczmarek, D., Paschen, U., Pietsch, B., Rath, S., Ruprecht, T., Thomeczek, C., Veit, C., Wenzlaff, P.: Begriffe und Konzepte des Qualitätsmanagements - 3. Auflage. GMS Med Inform Biom Epidemiol. 2007;3(1):Doc05 Steffen, G.E. (1988): Quality Medical Care. A Definition. JAMA 260, 56-61 Wennberg, J.E. (2002), Fisher, E.S., Skinner, J.S.: Geography and the Debate over Medicare Reform. Health Aff. 21, Suppl. Web Exclusives, w96-114 Werner, R.M. (2011), Kolstad, J.T., Stuart, E:A., Polsky, D.: The Effect of Pay-For-Performance in Hospitals: Lessons for Quality Improvement. Health Aff. 30, 690-8