Ondanks uitgebreide voorzorgsmaatregelen zoals het geven van profylactische antibiotica, komen bij 10-20% van alle chirurgische ingrepen postoperatieve infecties voor. Postoperatieve infecties hebben een grote impact op de gezondheidszorg, kosten en kwaliteit van leven van patiënten. Dit komt onder andere doordat patiënten langer in het ziekenhuis opgenomen blijven en uitgebreidere (her)behandeling behoeven. Een van de oorzaken van deze problemen is dat een infectie gemiddeld pas vijf dagen na de operatie wordt gediagnosticeerd, en hierdoor relatief laat met een behandeling kan worden gestart. Om het moment van diagnose en daarmee de start van de behandeling te vervroegen, kan het helpen om per patiënt te voorspellen wat het risico is op het krijgen van een postoperatieve infectie, en hier het monitoring-, follow-up- en behandelplan op af te stemmen. Bij het voorspellen van patiëntuitkomsten, zoals postoperatieve infecties, kan Artificial Intelligence (AI) een rol spelen. Om een accuraat AI-model te trainen om postoperatieve infecties te voorspellen, is een grote hoeveelheid patiëntdata nodig. Dit is steeds beter mogelijk aangezien er de afgelopen jaren flinke stappen zijn gemaakt in ziekenhuizen met betrekking tot het opslaan en beschikbaar maken van patiëntgegevens uit het Elektronisch Patiënten Dossier (EPD).
PERISCOPE
Samen met verschillende ziekenhuizen (onder andere het Leids Universitair Medisch Centrum en het Radboud Universitair Medisch Centrum) heeft de start-up Healthplus.ai de AI-tool PERISCOPE ontwikkeld. PERISCOPE geeft direct na een operatie twee voorspellingen per patiënt: het risico op postoperatieve infectie binnen zeven en binnen dertig dagen na de ingreep. Deze twee voorspellingen worden in een dashboard weergegeven, geïntegreerd in het EPD.
Dit dashboard bevat naast de voorspelde kansen ook de patiëntfactoren die het meest bijdragen voor het voorspelde risico en een verzameling van voor de arts en verpleegkundige relevante informatie voor het beoordelen van het infectierisico van een patiënt. Dit dashboard is vormgegeven en getest door een groep eindgebruikers, artsen en verpleegkundigen, van verschillende chirurgische afdelingen en ziekenhuizen. Figuur 1 geeft een fictief PERISCOPE dashboard weer, geïntegreerd in EPD-systeem Epic.
Figuur 1: PERISCOPE dashboard voor een fictieve patiënt. Links worden de voorspellingen weergeven en de meest bijdragende patiëntfactoren voor de voorspelling. Rechts worden de variabelen die relevant zijn voor het beoordelen van de infectie status van een patiënt samen weergegeven.
Van ontwikkeling naar CE-certificering
De eerste stappen bij het ontwikkelen van AI-modellen zijn het bepalen van wat een klinisch relevante uitkomstmaat is om te voorspellen (in dit geval, bacteriële postoperatieve infecties) en het verzamelen en verwerken van patiëntdata uit het EPD. Voor de ontwikkeling en validatie van PERISCOPE is er per ziekenhuis gebruikgemaakt van tussen de 50.000 en 100.000 patiëntdossiers. Op basis van literatuur en klinische expertise is bepaald welke predictoren uit het patiëntendossier meegenomen moesten worden in het model.
Daarnaast is er voor elke procedure bepaald of een wel of geen infectie is opgetreden, waarop het model weer is getraind om het risico te kunnen voorspellen. Het is een enorm tijdrovend proces om dit manueel te doen. Daarom is er bij PERISCOPE voor gekozen om patiënten om op basis van geregistreerde infecties, antibiotica gebruik, en infectie gerelateerde heringrepen uit het EPD te ‘labelen’. Op basis van deze labels, wordt PERISCOPE getraind als voorspelmodel, en kan als het model live wordt gebruikt gemonitord worden of de voorspellingen juist waren.
Uiteindelijk resulteren deze stappen in een uniforme dataset per ziekenhuis, die wordt gebruikt om het model te trainen en te valideren. Om te bepalen of het model ‘goed genoeg’ presteert, wordt een uitgebreide validatie gedaan waarbij wordt gekeken naar de discriminatieve eigenschappen van het model, hoe de voorspellingen gekalibreerd zijn, en of er een ‘net benefit’ zal zijn bij gebruik van het model ten opzichte van de huidige zorg. Echter, een ‘goed presterend’ model is niet meteen klaar voor gebruik in de kliniek.
De software moet veilig zijn, en daarnaast moet het dashboard ontworpen worden en getest met eindgebruikers. Omdat AI-modellen in de zorg worden gezien als ‘Software as a Medical Device’, zal aan de strenge wetgeving van de Medical Device Regulation (MDR) moeten worden voldaan. Doordat PERISCOPE uiteindelijk verkocht zal worden aan verschillende ziekenhuizen, heeft het een CE-certificering nodig die voldoet aan de MDR eisen.
De CE-certificering wordt uitgevoerd door een Notified Body, waarbij na het indienen van een enorme hoeveelheid documentatie over het product, er drie feedbackrondes en twee audits plaatsvinden. Een van de onderdelen is het opzetten van een kwaliteitsmanagementsysteem. Daarnaast moet worden aangetoond dat PERISCOPE voldoet aan state-of-the-art veiligheidseisen en beter is dan de huidige standaard in de zorg, en dat er een uitgebreid monitoringsysteem is opgezet om na implementatie in ziekenhuizen de kwaliteit en klinische relevantie van het systeem te waarborgen.
Met een team van datascientists, clinici, onderzoekers en kwaliteit- en regelgeving specialisten wordt al een aantal jaar aan de CE-certificering van PERISCOPE gewerkt. De verwachting is dat bij positief resultaat na de tweede audit, in de eerste helft van 2024 de certificering afgerond zal worden, waarna PERISCOPE in ziekenhuizen in heel Europa geïmplementeerd kan worden.
Geen ‘one size fits all’
Door verschillen in de manier waarop patiëntendata wordt verzameld en opgeslagen, verschillen in patiëntenpopulaties en verschillen in lokale behandelprotocollen, is PERISCOPE geen ‘one size fits all’. Als onderdeel van het CE-certificeringsproces beschrijven we de stappen die per ziekenhuis worden doorlopen alvorens de software in de kliniek geïmplementeerd kan worden. Zo wordt de ruwe EPD-data beoordeeld op compleetheid en kwaliteit, en wordt het AI-model bij voldoende datakwaliteit opnieuw gekalibreerd en gevalideerd op de gehele populatie en op subpopulatie niveau.
Helaas is bij eerder geïmplementeerde AI-systemen, zoals het Epic Sepsis Model, gebleken dat zonder deze stappen de performance model erg laag kan uitvallen. Indien de validatieresultaten niet de gewenste benchmark halen, wordt besloten dat PERISCOPE niet (voor bepaalde specialismen) veilig geïmplementeerd kan worden.
