Automatische analyse van elektronenmicroscoop beelden

Elektronenmicroscopie

De elektronenmicroscopie waar hier op wordt gedoeld voor pathologiedoeleinden, maakt gebruik van een zogenaamde Scanning Transmission Electron Microscope (STEM). Een elektronenbundel wordt gefocusseerd door een zeer dun weefselsample gestuurd, waardoor tot op nanometer niveau structuren gevisualiseerd kunnen worden. Er bestaat ook een andere techniek, ‘connectomics’ genaamd [2]. Deze techniek kan het weefsel driedimensionaal scannen, maar kost nog meer tijd aan acquisitie en is minder precies dan de STEM beelden.

Men kan zich voorstellen dat een weefselcoupe die op nanometerschaal wordt afgebeeld een enorme hoeveelheid data produceert. Een afbeelding van één sample van één millimeter bestaat al snel uit enkele (tot 20) gigabytes en bevat een miljoen bij een miljoen pixels. Dit levert dus teveel data op om met de hand te analyseren; zelfs met de snelste machine kost één uur geacquireerde data eveneens één uur analysetijd van een mens. Niet geheel onverwacht wordt daarom op zoek gegaan naar automatische methoden om dit te doen. Deze automatische analyse heeft meerdere doelen

• Identificeren van weefselstructuren en elementen die met andere beeldmodaliteiten niet worden gedetecteerd en deze koppelen aan klinische relevantie.

• Herkennen van structuren die ook in andere modaliteiten te zien zijn en waarvan bekend is dat zij klinisch significant zijn; om deze bij voorkeur tot op molecuulniveau te analyseren.

Dit alles uiteraard sneller dan een mens dat op dit moment zou doen, zodat de mens zich met de complexere interpretatie van de data kan bezighouden.

Automatische beeldverwerking

De afgelopen jaren is in het onderzoeksgebied van de beeldverwerking de techniek van deep learning in opkomst. Vaak wordt dit in één adem genoemd met ‘AI’, hoewel het technisch gezien slechts een klein onderdeel is van alle technieken die samen AI vormen. Met de deep learning techniek kunnen complexe patronen – die vaak niet met de hand te modelleren zijn – uit data worden gehaald. Met name in beelddata werkt dit erg goed, zoals de vele voorbeelden van techgiganten als Google overal laten zien.

Ook op medische data zijn deep learning modellen te trainen. Zaak is dan wel dat er voldoende voorbeelddata beschikbaar is, en dat er iemand is die deze data van labels kan voorzien. Tot slot wil men ook graag een tijdig resultaat – niet dat een patiënt daar dagen of weken op moet wachten. Deze randvoorwaarden brengen technische uitdagingen met zich mee, met name op het gebied van elektronenmicroscopie. Een voorbeeld wordt hieronder gegeven.

Voor verschillende ziektebeelden kan het van belang zijn om de mitochondriën in een cel nader te bestuderen. Dit zou kunnen inhouden dat het aantal mitochondriën bekend moet zijn, maar ook dat er iets over de vorm gezegd moet kunnen worden. In beeldverwerkingsoplossingen denkt men dan al snel aan segmentatie – het ‘uitsnijden’ van een object uit een afbeelding (zie Figuur 2). Verschillende oplossingen bestaan om dit te bereiken, maar hoe weet dit algoritme wat een mitochondrium is? Een mens zal een heel aantal voorbeelden moeten laten zien (oftewel: handmatig intekenen), zodat het algoritme dit patroon leert herkennen. 

Gezamenlijk onderzoek UMCG en TNO

Gelukkig kunnen we tegenwoordig steeds beter omgaan met deze algoritmes. Workflows hebben vaak nog veel handmatige invoer nodig, maar er bestaan ook steeds meer technieken om het algoritme een eerste voorspelling te laten doen, die je dan als mens alleen nog maar hoeft te verfijnen. Dit scheelt veel werk, en is daarom ook één van de doelstellingen in een project dat TNO en het UMCG samen uitvoeren.

Een andere doelstelling richt zich op het versnellen van het proces: zoals gezegd duurt nu niet alleen de acquisitie, maar ook de analyse nog erg lang. Automatische software pipelines met gespecialiseerde hardware moeten ervoor zorgen dat dit hele proces wordt versneld. Eén van de ambities is om de enorme hoeveelheden data makkelijker doorzoekbaar te maken, bijvoorbeeld door aan het systeem te kunnen vragen als gebruiker: “zoek andere regio’s die lijken op deze”.

Toekomstige technische stappen richten zich op een verkenning richting anomaliedetectie: kan een algoritme automatisch vinden wat er niet klopt in een plaatje, wat er als het ware niet normaal is? 

Klinische toepasbaarheid

Met de stap naar anomaliedetectie wordt ook een brug geslagen naar een andere uitdaging rondom elektronenmicroscopie. Doordat er met deze beeldvormingstechniek veel meer kan worden afgebeeld, en ook steeds meer kan worden gevonden door de automatische beeldverwerkingsalgoritmen, moeten we ons ook steeds vaker afvragen: maar wat betekent deze bevinding? De klinisch-pathologische correlatie is niet altijd evident, en er zal nog veel onderzoek nodig zijn om deze boven tafel te krijgen.

Eenieder die geïnteresseerd is om bij te dragen aan dit onderzoek, op wat voor manier dan ook, wordt van harte uitgenodigd om eens rond te kijken op de website waar alle data openbaar beschikbaar wordt gesteld (www.nanotomy.org, van nano-anatomie) of om contact op te nemen met één van de auteurs (firstname.fulllastname@tno.nl).

Met dank aan

Het beschreven werk van TNO is gedaan met behulp van fondsen uit het Europese PENTA project CAVIAR. De auteurs willen graag de RVO (Rijksdienst voor Ondernemend Nederland) bedanken voor het steunen van dit project.