Evaluatiestudie van de prestatie-indicatoren

Inleiding

In 2001 heeft de IGZ een schriftelijk onderzoek verricht naar de kwaliteitsborging inzake het veilig gebruik en beheer van medische apparatuur. Het rapport, vrijgegeven in 2002, toont aan dat de situatie dringend verbetering behoeft [3]. Een aantal jaren later benoemt de IGZ in het rapport ‘de Staat van de Gezondheidszorg 2004’ het belang van het uitvoeren van risicoanalyses en het invoeren van risicomanagement ter verbetering van de patiëntveiligheid in relatie tot medische apparatuur [1]. Als reactie op dit rapport nemen verscheidene beroepsgroepen in de gezondheidszorg initiatief door afbakening van de eigen verantwoordelijkheid. Hieronder volgt een overzicht van de gepubliceerde documenten door individuele partijen of samenwerkingsverbanden in chronologische volgorde (figuur 1).

Kwaliteitsborging van medische systemen: een praktische handleiding opgesteld door de Nederlandse Vereniging van Ziekenhuizen (NVZ) voor het opstellen van een plan van aanpak om tot een aantoonbare verbetering te komen rondom het gebruik van medische apparatuur [4].

Prestatie-indicatoren kwaliteitsborging medische systemen: een initiatief vanuit de NVKF om gestructureerd de kwaliteitsborging van medische technologie systematisch te benaderen en vervolgens te monitoren aan de hand van de levenscyclus van medische apparatuur [2].

Praktijkgids risicomanagement en medische technologie: de praktijkgids bevat een advies om de risico’s die gepaard gaan met het toepassen van complexe methoden en technieken te minimaliseren, opgesteld door de werkgroep Risicomanagement Medische Technologie (RMT) [5].

Leidraad verantwoordelijkheid medisch specialist bij onderhoud en beheer van medische apparatuur: deze leidraad is een eerste aanzet om inzicht te geven in de verantwoordelijkheden van de medisch specialist voor medische apparatuur, opgesteld door de Orde van Medisch Specialisten in samenwerking met onder andere de NVZ [6].

NTA 8009:2011 veiligheidsmanagementsysteem voor ziekenhuizen en instellingen die ziekenhuiszorg verlenen: het document beschrijft de basiseisen voor een veiligheidsmanagementsysteem (VMS) voor ziekenhuizen en instellingen die ziekenhuiszorg verlenen, waaraan vanaf 1 januari 2013 moet worden voldaan [7].

Convenant veilige toepassing van medische technologie in het ziekenhuis: doel van het convenant is om voor de bij de NVZ en de Nederlandse Federatie van Universitair Medische Centra aangesloten ziekenhuizen het kader van verantwoordelijkheden van de Raad van Bestuur  ten aanzien kwaliteitsborging van medische technologie vast te stellen [8].

Prestatie-indicatoren

Het doel van de prestatie-indicatoren is uitdrukking te geven aan de mate waarin de borging van kwaliteit en veiligheid rond medische technologie in de instelling is ontwikkeld. Prestatie-indicatorenmonitoren de output van processen of een organisatie om zodoende vast te stellen in welke mate en met welk succes processen worden uitgevoerd. Van belang is het systematisch waarborgen van de patiëntveiligheid, de personeelveiligheid en de doelmatigheid van de diagnostische en behandelprocessen in relatie met de levenscyclus van de medische technologie. De belangrijkste activiteiten uit deze levenscyclus zijn vastgesteld door de NVKF in het document ‘Prestatie-inidicatoren Kwaliteitsborging Medische Systemen’ [2]. Hieruit vloeit een brede set prestatie-indicatoren voort, gericht op kwaliteitsborging in de hele procesketen rondom medische technologie, die de resultaten van de diverse activiteiten getalsmatig uitdrukken.

Het doel van deze evaluatiestudie is de vorderingen van de implementatie van de prestatie-indicatoren te bepalen. Hiertoe wordt geëvalueerd wat de bruikbaarheid is van de prestatie-indicatoren in de klinische praktijk. Daarbij is het relevant vast te stellen of ziekenhuisinstellingen al in staat zijn rapportages uit te brengen op basis van de prestatie-indicatoren. Hiermee hangt samen of de opgestelde indicatoren helder en duidelijk zijn geformuleerd. In totaal zijn acht interviews afgenomen ter evaluatie van de implementatie van de prestatie-indicatoren.

Bruikbaarheid

De redenen voor het gebruik maken van de prestatie-indicatoren zijn zelfevaluatie, inzicht verkrijgen in het eigen kwaliteitssysteem en benchmarking. Twee van de acht instellingen zijn in een vergevorderd stadium betreft het gebruik van de prestatie-indicatoren in de rapportage over de levenscyclus van de medische apparatuur (figuur 2). Vijf instellingen beschikken over een plan van aanpak waarin de prestatie-indicatoren zijn verwerkt. Dit houdt in dat zij in verschillende stadia bezig zijn met de invoering van de prestatie-indicatoren. Één enkele instelling geeft aan de prestatie-indicatoren niet te gebruiken en daar ook geen plan voor te hebben, omdat de Raad van Bestuur er niet naar vraagt. Redenen om de prestatie-indicatoren nu niet te gebruiken zijn desinteresse van de Raad van Bestuur, niet specifieke formulering van de prestatie-indicatoren (zie onder staande voorbeelden) en een ongeschikt of zojuist in gebruik genomen datamanagement systeem.

Rapportage prestatie-indicatoren

De resultaten worden in vijf van de acht ziekenhuizen teruggekoppeld naar de Raad van Bestuur door het opnemen van de prestatie-indicatoren in het jaarverslag van de klinisch fysische / medisch technologische afdeling. Bij twee van de acht ziekenhuizen wordt er elk kwartaal gerapporteerd over de prestatie-indicatoren, waarvan één instelling gebruik maakt van automatische output van het kwaliteitssysteem voor een aantal prestatie-indicatoren. In eerste instantie werd de informatie op eigen initiatief aangeleverd bij de Raad van Bestuur. De Raad van Bestuur komt hierop terug, door in het vervolg wel om de informatie te vragen. In één ziekenhuis vraagt de Raad van Bestuur niet actief om deze informatie. Dit leidt in die instelling tot geen invoering en rapportering van de prestatie-indicatoren.

Output en formulering prestatie-indicatoren
Hieronder is van enkele prestatie-indicatoren beschreven wat de gedefiniëerde en behaalde grenswaarden zijn onder de ‘output’. Vervolgens is onder ‘formulering’ een suggestie gegeven voor een aanpassing. Het volledige overzicht van grenswaarden en aanpassingen is vermeld in het rapport ‘Evaluatiestudie naar de implementatie van de prestatie-indicatoren’ [9].

Risicoanalyse: percentage van het totale aantal apparaten/systemen in het databestand dat is ingedeeld naar risicoklasse op basis van de gehanteerde risicoanalyse.

Output - Alle instellingen delen de apparaten/systemen in het databestand in op een risicoklasse. De streefwaarde is over het algemeen 100%. Deze wordt door vier instellingen gehaald, één instelling zit boven de 95% en van drie instellingen is er geen percentage bekend

Formulering - Deze omschrijving duidt erop dat zodra de apparaten/systemen zijn ingedeeld in een risicoklasse, de risicoanalyse is afgerond. Het indelen van de apparaten in een risicoklasse is pas de eerste stap in het proces van de risicoanalyse. De volgende stap in het proces van de risicoanalyse zou moeten worden toegevoegd aan de bestaande set prestatie-indicatoren. Dus het percentage van het totale aantal apparaten/systemen dat is ingedeeld naar risicoklasse, waar ook daadwerkelijk een risicoanalyse voor is uitgevoerd. In de acht ziekenhuizen worden sinds de invoering van de prestatie-indicatoren  risicoanalyses uitgevoerd op nieuw aangeschafte apparaatgroepen. Op de al aanwezige apparatuur wordt niet door alle instellingen alsnog een risicoanalyse uitgevoerd, vanwege de enorme klus en ‘er wordt toch al veilig mee gewerkt’. Voor de medische apparatuur in de hoog risicoklasse is bij de meerderheid wel alsnog een risicoanalyse uitgevoerd.

Technische en functionele tests, gebruiksprotocollen, instructie van gebruikers & vrijgeven voor gebruik:percentage van de in het afgelopen jaar voor klinische processen in gebruik genomen apparatuur en software dat formeel voor dat gebruik is vrijgegeven nadat de goede en veilige werking is vastgesteld en na vaststelling dat de gebruikers zijn geïnstrueerd op basis van een vastgesteld gebruiksprotocol.

Output - Er is één instelling die een streefwaarde heeft geformuleerd van 100% voor deze prestatie-indicator, waar zij zelf een typische score van 80% op haalt. De gehandhaafde formule is (het aantal door de medische techniek beheerde objecten die zijn aangeschaft en aan gebruikers zijn overgedragen met een opleveringsformulier) /  (het aantal door de medische techniek beheerde objecten die zijn aangeschaft). Een andere instelling beschrijft in het jaarverslag dat bij 44% van de apparatuur een gebruiksaanwijzing te vinden is in het databeheer systeem. Overige instellingen hebben geen getallen beschikbaar voor deze prestatie-indicator. Één van de overige instellingen gebruikt voor de hoogrisico apparatuur een apart formulier, maar het  resultaat wordt niet getalsmatig bijgehouden als indicator. Geen van de 8 ziekenhuizen houdt deze indicator dus in alle volledigheid bij.

Formulering - Deze omschrijving is een typisch voorbeeld van een complexe indicator. Vijf stappen in de levenscyclus zijn samengevoegd. Dit veroorzaakt verwarring in de definitie en de verantwoordelijkheid. Het is zaak om deze twee activiteiten gescheiden te houden. Bij welke partijen liggen de verantwoordelijkheden voor de stappen in de levenscyclus die bij deze prerstatie-indicator zijn samengevoegd? Het antwoord op deze vraag is bepalend voor wie verantwoordelijk zijn voor het aanleveren van informatie voor deze in onderdelen op te knippen prestatie-indicator.

Conclusies en aanbevelingen prestatie-indicatoren

Het document ‘Prestatie-indicatoren Kwaliteitsborging Medische Systemen’ van 29 mei 2007 is een goede start voor de aanzet tot een gestructureerd proces rondom deborging van kwaliteit en veiligheid rond medische technologie in een instelling. De publicatie van dit document heeft ook geleid tot een grote bekendheid van de set indicatoren. Prestatie-indicatoren worden in vijf van de acht ziekenhuizen gebruikt, primair voor het verkrijgen van intern inzicht en kwaliteitscontrole rondom de processtappen en levenscyclus van medische technologie. Secundair gebruik van de prestatie-indicatoren is mogelijk deze in te zetten voor benchmarking.

De Raad van Bestuur vraagt niet altijd om rapportage van de prestatie-indicatoren, waardoor deze niet hoog op de prioriteitenlijst staan van iedere algemeen klinisch fysicus. In het Convenant ‘Veilige toepassing van medische technologie in het ziekenhuis’ is het kader van verantwoordelijkheden van de Raad van Bestuur vastgelegd ten aanzien van kwaliteitsborging van medische technologie [8]. De formulering van de prestatie-indicatoren is inmiddels gedateerd en niet specifiek genoeg. De uitgevoerde evaluatie leidt tot enkele aanbevelingen en opmerkingen voor het herdefiniëren van de prestatie-indicatoren, zoals deze zijn opgesteld door de NVKF.

§        Herformulering van de prestatie-indicatoren:

• helder en mogelijk bij voorkeur in een formule, zodat dat deze niet verschillend geïnterpreteerd kunnen worden en dezelfde parameters worden gemeten;
• definiëer de individuele begrippen zoals ‘apparaten’ en ‘systemen’;
• op landelijk niveau, zodat meerdere partijen uit het werkveld achter de prestatie-indicatoren staan;
• haalbare doch reële grenswaarden definiëren.

§ De auteurs hebben de evaluatiestudie ter beschikking gesteld aan de Commissie Kwaliteit van de NVKF zodat de voorgestelde revisie van de prestatie-indicatoren besproken kan worden.

§ De prestatie-indicatoren op de agenda zetten bij de Raad van Bestuur van het ziekenhuis, zodat de prestatie-indicatoren ook daadwerkelijk gebruikt gaan worden door het management & bestuur om de mate van borging van kwaliteit en veiligheid rond medische technologie te monitoren.

§ De prestatie-indicatoren en het Convenant kunnen naast elkaar bestaan; zij zijn complementair aan elkaar. Het convenant beschrijft procedures die moeten zijn ingevoerd en taken en verantwoordelijkheden die moeten zijn toebedeeld. De prestatie-indicatorenworden ingezet voor monitoring van resultaten die zijn behaald en zijn een goed uitgangspunt om data aan te leveren voor benchmark studies.

§ Een vervolgstudie naar de overeenkomsten en verschillen tussen de set prestatie-indicatoren en het Convenant is aan te raden, zodat beide in de toekomst optimaal benut worden.