Geautomatiseerde instrumententellingen in de OK door middel van computer visie

Introductie en Probleemstelling

Eén van de grootste uitdagingen in ziekenhuizen tegenwoordig is de voortdurende vraag naar een hogere kwaliteit van zorg terwijl aan de andere kant ook bezuinigd moet worden. Het gevolg is dat het ziekenhuispersoneel efficiënter en veiliger te werk moet gaan.

Om dat te bereiken wordt veel onderzoek gedaan naar het gebruik van technologie op de verschillende afdelingen van ziekenhuizen. Een afdeling waar al veel techniek wordt ingezet en waar nog steeds veel te halen valt, is de operatieafdeling. Deze afdeling is de grootste bron van kosten en afval in een ziekenhuis (Ahmadi et al., 2018 & Mhlaba et al., 2015). De processen en activiteiten binnen een operatiekamer (OK) zijn vaak erg complex, dynamisch en omvatten veel verschillende componenten. Inefficiëntie en onveilige werkzaamheden kunnen hier leiden tot onnodige vertragingen en hoge kosten (Ahmadi et al., 2018 & Mhlaba et al., 2015).

Een belangrijk component tijdens een operatie is het chirurgisch instrumentarium. Tijdens de instrumententellingen voor, tijdens en na de operatie worden verschillende uitdagingen ervaren door operatieassistenten. Het doel van de tellingen is voorkomen dat instrumenten missen en dat instrumenten achterblijven in het lichaam. De tellingen worden al snel erg complex en tijdrovend omdat het aantal verschillende instrumenten dat gebruikt wordt kan oplopen tot 200 (Syrma SGS Technology, 2019).

Verschillende technieken zijn voorgesteld om de instrumententellingen te automatiseren, waaronder computer visie. Computer visie is een vorm van Kunstmatige Intelligentie (KI) dat gebruik maakt van algoritmes die objecten in een digitaal beeld kunnen detecteren en lokaliseren. Vaak is het algoritme ook in staat om het type object te bepalen. Computer visie wordt al veel gebruikt in andere onderzoeksgebieden zoals zelfrijdende auto’s (zie Figuur 1) en de (land)bouw.

De reeds bestaande toepassingen van computer visie wekken de vraag: “Als computer visie algoritmes auto’s, mensen, verkeerslichten, etc. kunnen herkennen, kunnen ze dan ook chirurgische instrumenten herkennen en typeren?” Deze vraag is onderzocht in een project van de TU Delft in samenwerking met het Reinier de Graaf (RdG) ziekenhuis in Delft.

Methodologie

Er bestaan verschillende soorten computer visie algoritmes, verschillend in hoe gedetailleerd de typering en lokalisering van objecten is. Tijdens het project in het RdG is specifiek gekeken naar een ‘object detection’ algoritme. Dit algoritme typeert alle verschillende objecten in een digitale input en lokaliseert deze door ze te omlijnen met rechthoeken, zoals ook te zien is in Figuur 1. Tijdens dit initiële onderzoek naar het gebruik van computer visie in de OK van het RdG is de werking van het algoritme niet getest en beoordeeld. Er is echter gekeken naar het totaal aan activiteiten en processen rondom chirurgische instrumenten, ook wel de instrumentencyclus genoemd.

Door de beschrijving van de instrumentencyclus is duidelijk geworden waar computer visie van toepassing kan zijn. Bij de ontwikkeling van andere detectiemethoden, zoals het gebruik van radio-frequency identification (RFID) in het onderzoek van Haring et al. (2018), werd te snel getest in de OK. Er was alvorens niet goed gekeken naar de gebruiksomgeving van de technologie. De geteste detectiemethoden hadden elk hun eigen gebruiksgebreken in de OK. Vandaar dat er nu eerst een goed beeld wordt gevormd van alle activiteiten en processen in de OK en hoe huidige werkzaamheden de werking van het algoritme kunnen beïnvloeden.

Tijdens 35 operaties zijn instrumenten geobserveerd. Het resultaat is een set aan factoren die van invloed kunnen zijn op de werking van het algoritme tijdens de instrumententellingen. Daarnaast is een vragenlijst opgesteld waarin de mening van chirurgen en operatieassistenten werd gevraagd over het gebruik van computer visie in de OK tijdens instrumententellingen.

Resultaten

De lijst aan factoren en de resultaten van de enquête zijn uiteindelijk gecombineerd tot 5 focuspunten. Dit zijn punten waar men rekening mee moet houden tijdens toekomstig onderzoek naar het gebruik van computer visie in de OK.

1.) Het realiseren van een zichtlijn tussen de camera en de instrument(en)

Voor de werking van het computer visie algoritme is een zichtlijn tussen de camera en de chirurgische instrumenten cruciaal. Wanneer deze zichtlijn afwezig is, zullen instrumenten niet zichtbaar zijn op de foto en kunnen ze niet herkend en geteld worden. De aanwezigheid van een zichtlijn is echter niet vanzelfsprekend.

Observaties in de OK hebben laten zien dat instrumenten niet altijd zichtbaar zijn voor een camera die erboven hangt. De belangrijkste redenen waarom de zichtlijn kan ontbreken zijn “rommelige” instrumententafels en overlappend chirurgisch materiaal, veroorzaakt door de werkmethoden van het operatieteam. Om een zichtlijn te creëren tijdens de instrumententellingen van het algoritme, is het dus nodig om aanpassingen te maken in de werkmethoden binnen de OK. Daarnaast zou men kunnen overwegen om alleen te kijken naar de instrumenten die voorafgaand aan de operatie al uit de netten gehaald worden in plaats van naar alle instrumenten. 

Deze instrumenten zijn omcirkeld in Figuur 2. Deze chirurgische instrumenten worden op de tafel klaargelegd omdat verwacht wordt dat deze instrumenten het meest gebruikt gaan worden tijdens de operatie. De vraag blijft of feedback over alleen deze klaargelegde instrumenten waardevol genoeg is.

2.) Het omgaan met instrumenten die worden weggenomen van en toegevoegd aan de instrumententafel

Tijdens een operatie kan het voorkomen dat er instrumenten(netten) worden weggenomen van of toegevoegd aan de totale set instrumenten op de tafel. Instrumenten worden van de tafel weggenomen wanneer het onsteriel of onbruikbaar wordt tijdens een operatie. De instrumenten worden van de tafel verwijderd om contaminatie met andere steriele instrumenten te voorkomen of om te voorkomen dat de operatieassistent een onbruikbaar instrument alsnog pakt. Instrumenten(netten) worden toegevoegd aan de totale set instrumenten wanneer bijvoorbeeld een cruciaal instrument onsteriel of onbruikbaar wordt. 

Daarnaast kan het operatieteam in een onverwachte situatie terechtkomen waarvoor de juiste instrumenten nog niet aanwezig zijn. Op die momenten zal een extra instrumentennet de OK ingebracht moeten worden. Het belangrijkste probleem van dit focuspunt is dat het algoritme een bepaald aantal instrumenten op de instrumententafel verwacht. Dit verwachtte aantal zal geüpdatet moeten worden wanneer instrumenten worden weggenomen of toegevoegd om onnodige telfouten te voorkomen. Deze update zal automatisch uitgevoerd moeten worden omdat het operatieteam bij voorkeur geen extra taken worden toebedeeld ten gunste van de werking het algoritme. 

3.) Controle hebben over de lichtcondities rondom de instrumententafel

Het derde focuspunt betreft de lichtcondities rondom de instrumententafel. In de OK bevinden zich verscheidene soorten lampen. Gedurende verschillende fases van de operatie zijn deze lampen aan of uit. Foto’s van de operatietafel, die tijdens een operatie worden genomen, kunnen hierdoor bijvoorbeeld grote belichtingsverschillen laten zien.

Op de donkere foto’s zal het contrast tussen de instrumenten en de achtergrond minder duidelijk zijn waardoor het algoritme mogelijk meer fouten zal maken. Verder zorgen de felle operatielampen nog voor twee andere problemen. Ten eerste kunnen schaduwen ontstaan naast de instrumenten die het contrast tussen de instrumenten en de achtergrond verminderen. Ten tweede veroorzaken de operatielampen, wanneer ze op de instrumententafel schijnen, een ‘blinde vlek’ op de foto (zie Figuur 3).

Elk instrument in deze blinde vlek is niet zichtbaar op de foto en daardoor ook niet te herkennen en te tellen door het algoritme. De oplossing voor de genoemde problemen is het controleren van de lichtcondities rondom de instrumententafel. Dit kan bijvoorbeeld gedaan worden door een extra lamp of een flits toe te voegen aan de testopstelling. Echter, de blinde vlekken zullen hierdoor waarschijnlijk niet verdwijnen. De operatieassistente zal de instrumenttafel moeten verplaatsen wanneer de blinde vlek opgemerkt wordt.

4.) Het herkennen van het specifieke type van sommige instrumenten

Naast dat het belangrijk is dat het algoritme herkent dat een voorwerp een chirurgisch instrument is, is het ook belangrijk dat het type instrument herkend wordt. Wanneer het algoritme dit kan doen, zal de output en dus de feedback een stuk waardevoller zijn. Echter, het kan door verschillende redenen erg lastig zijn om het type instrument te herkennen.

Chirurgisch instrumentarium kan qua uiterlijk namelijk sterk lijken op bijvoorbeeld disposables of bepaald osteosynthese materiaal. De disposables en het osteosynthese materiaal dienen echter niet geteld te worden. Daarnaast kunnen instrumenten soms in een niet-optimale, onherkenbare positie op de instrumententafel liggen. Wanneer het onderscheidende deel van een instrument bijvoorbeeld over de rand van de tafel ligt of overlapt wordt door ander materiaal, is dat instrument niet te onderscheiden van gelijksoortige instrumenten. Dit is te zien in Figuur 4.

Wanneer het algoritme materiaal en kleur zou kunnen herkennen, kan het onderscheiden tussen chirurgisch materiaal en andere objecten. Disposables zijn namelijk vaak gemaakt van plastic materiaal, wat een onderscheidende kleur heeft tegenover chirurgisch staal. Hetzelfde geldt voor de plasplaten, die vaak ook een opvallende kleur hebben.

5.) Het tonen van duidelijke en complete feedback

Het is als laatste belangrijk dat het algoritme volledige en duidelijke feedback geeft. Deze feedback kan al gegeven worden door simpelweg twee informatiepunten te noemen: - het aantal missende instrumenten; - het type instrumenten dat mist. Wanneer deze informatie wordt gegeven op een klein scherm, heeft het operatieteam in één oogopslag zichtbaar welke instrumenten missen en waar men naar moet zoeken.

Verder gaven deelnemers van de enquête ook aan dat ze graag een Go/NoGo indicatie geïmpliceerd willen in de feedback. Dit zou gedaan kunnen worden met een simpel visueel of audio signaal. Een visueel signaal kan bijvoorbeeld een achtergrondkleur zijn op het feedbackscherm dat verandert aan de hand van de gegeven feedback.

Discussie en toekomstig onderzoek

Gebruikmakend van de vijf focuspunten uit de resultaten is een richting gedefinieerd voor toekomstig onderzoek. Het eerste focuspunt, betreffende de zichtlijn, wordt gezien als de belangrijkste en cruciaal voor de werking van computer visie. Toekomstig onderzoek zal zich dus eerst moeten richten op het bewerkstelligen van deze zichtlijn. Hiervoor zal men genoodzaakt zijn om bepaalde werkmethoden van het operatieteam te veranderen.

Wanneer duidelijk is welke veranderingen er in de werkmethoden doorgevoerd moeten worden, zijn er twee mogelijkheden: het operatieteam accepteert de veranderingen of niet. Wanneer de veranderingen geaccepteerd worden, kan gekeken worden naar de overige vier focuspunten. Deze kunnen gebruikt worden om het algoritme, de testopstelling en de testprocedures verder te verbeteren. Wanneer de veranderingen niet geaccepteerd worden, moet gekeken naar andere mogelijke detectiemethoden zoals RFID, het scannen van laser geëtste QR-codes of het wegen van instrumenten. Als verschillinde detectiemethoden gecombineerd kunnen worden tot één oplossing, kan men individuele tekortkomingen overkomen.

Conclusie

Het onderzoek binnen het Reinier de Graaf Gasthuis in Delft had twee vragen:

• Is het, met de huidige techniek en in de huidige situatie op de OK, mogelijk om computer visie te gebruiken voor het automatiseren van de instrumententellingen?
• Wat zijn potentiële factoren die van invloed zijn op de werking en implementatie van een computer visie algoritme in de OK?

De eerste vraag kan kort beantwoord worden: op het moment is het nog niet mogelijk om een computer visie algoritme te gebruiken voor de instrumententellingen. Er zijn nog te veel factoren die de werking en nauwkeurigheid van het algoritme negatief beïnvloeden.

De tweede vraag heeft een antwoord wat aansluit op het antwoord van de eerste vraag. De factoren die het algoritme negatief beïnvloeden zijn genoemd in de sectie ‘Resultaten’ als focuspunten. Tijdens toekomstig onderzoek naar het gebruik van computer visie in de OK moet men deze focuspunten meenemen om een beter algoritme te ontwikkelen voordat er tests op de OK uitgevoerd gaan worden. 

Ondanks dat er veel focuspunten voor toekomstig onderzoek zijn en er nog veel werk te verrichten is voordat computer visie gebruikt kan worden voor betrouwbare instrumententellingen, belooft de techniek nog steeds veel goeds. Hopelijk zal het onderzoek naar computer visie doorgaan en zien we in de toekomst veel toepassingen in de gezondheidszorg!