Mentech is door Erwin Meinders opgericht om kwetsbare mensen met onbegrepen gedrag een stem te geven. Als vrijwilliger bij Severinus, een zorgorganisatie voor mensen met een verstandelijke beperking, heeft hij ervaren dat mensen met een complexe zorgvraag vaak onvoldoende in staat zijn hun emoties te uiten. Om deze mensen daarbij te helpen is de HUME ontwikkeld.
De HUME is een emotieherkenningsplatform gebaseerd op wearables en gedragsmodellen in combinatie met machine learning en kunstmatige intelligentie. Sensoren in de wearables registreren fysiologische kenmerken als hartslag, huidgeleiding en beweging. Deze sensorische informatie wordt real-time verwerkt door gedragsmodellen in de cloud toe te passen. Zo wordt data met behulp van algoritmen omgezet in bruikbare informatie voor de zorgverlener. Deze informatie is vervolgens beschikbaar in een app.
Met behulp van de HUME kan de zorgverlener meer grip krijgen op het emotionele welbevinden van de cliënt. Zo kan er eerder worden ingegrepen bij stressvolle, escalerende situaties en kan het effect van veranderingen of interventies bij de client worden gemeten over een langere tijdsperiode.
Wearables
De HUME maakt gebruik van fysiologie om tot een gedragsduiding te komen. Hier worden parameters als hartslag, huidgeleiding en beweging voor gebruikt. Gezien veel gebruikers van de HUME wilsonbekwaam zijn en niet begrijpen wat een wearable is, is het belangrijk dat deze parameters zo subtiel mogelijk worden gemeten.
Momenteel maakt de HUME gebruik van een tweetal wearables. Een borstband om hartslag (ECG) en beweging te meten en de SentiSock om huidgeleiding (EDA) en beweging te meten. De SentiSock hebben we zelf ontwikkeld. Uit onderzoek bleek dat huidgeleiding het beste kan worden gemeten op de voet. De SentiSock bestaat uit een elektronicamodule en een sok met geprinte elektroden. Op deze manier is het draagcomfort van de wearables voor het HUME systeem erg hoog. Je merkt in de praktijk nauwelijks dat je de wearables draagt.
Beide wearables werken minimaal 48 uur op batterij en maken gebruik van Bluetooth 5.0 voor het versturen van data naar een smartphone. De smartphone stuurt deze data naar de cloud waar deze wordt verwerkt. De zorgverlener ontvangt vervolgens op zijn of haar eigen smartphone de gedragsuitkomsten van de metingen.
In de toekomst zijn we voornemens om ook hartslag middels de SentiSock te meten. Op deze manier wordt de borstband overbodig en is er slechts één wearable nodig om het HUME systeem te laten functioneren. Ook zal de Sentisock op termijn naast Bluetooth 5.0 een directe LTE-verbinding met de cloud ondersteunen en Edge AI toepassen. Een stukje kunstmatige intelligentie op de SentiSock om zo de balans tussen batterijverbruik en dataverbruik te optimaliseren.
Gedragsmodellen
Het HUME systeem bestaat uit modellen om spanning te herkennen gebaseerd op machine learning en neurale netwerken. Deze kunstmatige intelligentie kan zelf onderscheid maken in data door patroonherkenning in de gemeten fysiologie om zo tot een gedragsduiding te komen.
We hebben deze modellen ontwikkeld op basis van data van wilsbekwame mensen in ons HUME lab. Om deze data te verzamelen hebben we psychologische experimenten ontwikkeld waar bepaalde emoties worden uitgelokt. Denk hierbij aan een spannende video of een moeilijke wiskundetest. Een participant ziet deze stimuli en geeft zelf aan wat zijn emotionele reactie hierop is. Deze reacties worden ook door een testleider geduid, zodat het achteraf duidelijk is welke momenten bepaalde emotionele reacties bij de participant hebben uitgelokt. Deze experimenten worden in verschillende posities uitgevoerd (bijvoorbeeld staand of lopend) om zo ook onderscheid te kunnen maken tussen de fysieke en mentale factor in de data. Op deze data trainen we de modellen zodat we ze kunnen toepassen in de praktijk.
Bij gebruik van de HUME gaat de data van de gebruiker eerst door een activiteitenmodel heen. Dit activiteitenmodel detecteert de aard van de activiteit (statisch of dynamisch). Vervolgens gaat de data door een spanningsdetectiemodel heen die is getraind op de data uit ons lab. Dit model herkent de emotionele spanning tijdens een statische of dynamische activiteit. Hiermee kan het model de fysieke activiteiten/ spanningen negeren terwijl het juist wel emotionele/ mentale spanning herkend. Later willen we naast mentale spanning, ook kunnen detecteren welke emotie ervaren wordt. De ontwikkeling van deze modellen is momenteel gaande.
Validatie/Resultaat
De HUME is in 2020 gevalideerd in de zorgpraktijk. Dit houdt in dat fysiologische data van meer dan dertig cliënten is verzameld en geduid door zorgprofessionals. Deze observatie is vergeleken met de duiding van onze AI-modellen. Hieruit bleek dat onze modeluitkomsten met 76% overeenkwamen met de duidingen van zorgverleners.
Dankzij deze inzichten hebben we een generiek model dat we toepassen bij de implementatie van de HUME. Dit generieke model kan stress meten tot op 80% nauwkeurigheid. Om deze nauwkeurigheid te verhogen tot 95%, personaliseren we het model per cliënt. Met personalisatie meten we de fysiologie van deze nieuwe gebruiker en stellen we enkele spanningsmomenten vast door deze te duiden middels een app. Hierdoor presteert het model nog beter op hun persoonlijke fysiologische spanningsmomenten, en is het model nog beter in staat om hun spanning en emoties te detecteren.
Conclusie
Dankzij de HUME en zijn geavanceerde wearables en gedragsmodellen is Mentech in staat om zeer nauwkeurig en in een dynamische omgeving stress te duiden bij mensen die zelf niet of nauwelijks in staat zijn om dat aan te kunnen geven. De ontwikkelingen voor de HUME staan niet stil en Mentech verwacht eind dit jaar met geavanceerdere algoritmen en wearable technologie ook emoties te kunnen herkennen met het HUME systeem.
