Inhoudsopgave

Hoe  valideer ik software en wat heb ik dan aan een OTAP?

Praktijkvraag 10

Hoe valideer ik software en wat heb ik dan aan een OTAP?

Voor de ingebruikname van een medische informatietechnologie is het noodzakelijk om het functioneren van de software te valideren, om te controleren of de medische informatietechnologie voldoet aan de door de gebruiker opgestelde functionele specificaties.

Wat staat er in de literatuur over validatie?

Voor de ingebruikname van een medische informatietechnologie is het noodzakelijk om het functioneren van de software te valideren. Het doel van deze validatie is controleren of de technologie werkt volgens de opgegeven specificaties in de ziekenhuisomgeving. De FDA hanteert de volgende definitie voor softwarevalidatie: ‘confirmation by examination and provision of objective evidence that software specifications conform to user needs and intended uses, and that the particular requirements implemented through software can be consistently fulfilled.’, zie Hoofdstuk 6 (Geraadpleegde bronnen) . Het is dus de bedoeling om te controleren of de medische informatietechnologie voldoet aan de door de gebruiker opgestelde functionele specificaties.

 

In Engeland is er een nationale groep, de Nuclear Medicine Software Quality Group (NMSQG) die als doel heeft om landelijk softwarepakketten voor nucleaire geneeskunde met elkaar te vergelijken, onder andere door testbeelden te verstrekken en de resultaten van de verschillende pakketten met elkaar te vergelijken. In Nederland is er door de NCS (Nederlandse Commissie voor Stralingsdosimetrie) een rapport opgesteld waarin de validatie van treatment planning systemen wordt beschreven. Voor het opstellen hiervan is gebruikgemaakt van al aanwezige AAPM-rapporten (American Association of Physics in Medicine), waarbij in de NCS-rapporten praktische invulling wordt gegeven aan de testen die benoemd worden in het AAPM-rapport. Dit NCS-rapport kan ook gebruikt worden als inspiratie om een validatieprotocol op te stellen voor andere softwarepakketten.

Hoe doe ik de softwarevalidatie?

Door de leverancier zijn al diverse tests gedaan om de medische software (standalone of onderdeel van een medisch systeem) te valideren. De validatie door het ziekenhuis start bij het opvragen van de resultaten van deze tests bij de leverancier. Als de omgeving waarin de medische software gebruikt wordt niet van invloed is op de resultaten van deze tests, hoeven deze niet nogmaals uitgevoerd te worden.

 

Voor het goed uitvoeren van de validatie is het noodzakelijk om een testomgeving te hebben die gelijk is aan de werkelijke productieomgeving. Soms is het mogelijk om nieuwe medische software veilig in de productieomgeving te testen, bijvoorbeeld doordat toegang tot de software afgeschermd is met een wachtwoord dat alleen toegankelijk is voor geautoriseerde personen en de software geen invloed heeft op de werking van andere systemen. Indien beide niet mogelijk zijn, moet er gekeken worden naar alternatieven. De mogelijkheden hierbij zijn afhankelijk van het type medisch software en de toepassing. Voorafgaand aan de validatie moet door de projectgroep een validatieprotocol opgesteld worden. Dit is gebaseerd op het Pakket van Eisen (PvE), dat in de verwervingsfase is opgesteld, en de risicoanalyse. Om een goed validatieprotocol op te kunnen stellen, is het noodzakelijk dat bekend is hoe er met de software gewerkt gaat worden, zodat ook met de juiste configuratie getest kan worden.

 

Tijdens de validatie kunnen diverse hulpmiddelen worden gebruikt. Denk hierbij aan fantomen, simulaties van bepaalde situaties, vrijwilligers (alleen als dit zonder risico is voor de vrijwilliger), testbeelden, referentie-datasets en testapparatuur. Een voorbeeld van een test die bij de softwarevalidatie uitgevoerd kan worden is het testen of volumes goed berekend worden door de software. Dit kan bijvoorbeeld gedaan worden door een fantoom met bekende volumes te scannen en de software de volumes te laten berekenen.

Wat is de toegevoegde waarde van een OTAP voor de validatie?

Om het product te kunnen testen en te valideren wordt vaak een OTAP-omgeving ingericht. Dit acroniem staat voor:

  • Ontwikkelomgeving (meestal alleen bij de fabrikant)
  • Testomgeving (onderdeel van de initiële installatie)
  • Acceptatieomgeving (een recente kopie van de Productieomgeving inclusief de koppelingen)
  • Productieomgeving (de uiteindelijke productieomgeving)

Deze omgevingen zijn virtueel en/of fysiek van elkaar gescheiden. Voor validatie/verificatie van medische software is het noodzakelijk om naast de productie (klinisch gebruik) ook een acceptatieomgeving beschikbaar te hebben. Het is belangrijk dat de acceptatieomgeving een representatieve kopie van de productieomgeving is. Denk dus ook aan de gekoppelde randapparatuur en/of interne en externe datakoppelingen.

Zonder OTAP-omgeving is het vaak lastig om software te valideren. De softwarevalidatie kan dan alleen in de productieomgeving (dus de klinische omgeving) plaatsvinden. Dit kan alleen veilig plaatsvinden als het mogelijk is om de nieuwe en oude software tijdelijk naast elkaar te laten lopen en klinische beslissingen te baseren op de oude software, zolang de nieuwe software niet gevalideerd is. Validatie van de software is in de productieomgeving lastiger dan in de testomgeving, doordat de testomstandigheden minder gecontroleerd zijn.

Wat zijn aandachtspunten bij het opstellen van een validatieprotocol?

Bij het opstellen van het validatieprotocol zijn de volgende zaken van belang:

  • Betrek alle relevante disciplines bij het opstellen van het protocol. Denk hierbij aan: de afdelingen Medische Techniek, Klinische Fysica, IT (netwerkbeheer en databasebeheer), Klinische Informatica en de gebruiker.
  • Test zowel standaardsituaties als extreme situaties en noodsituaties.
  • Bedenk vooraf wanneer de resultaten van de validatietest acceptabel zijn en wanneer niet.
  • Test alle koppelingen en interfaces.
  • Controleer welke loggingmogelijkheden de software heeft.
  • Controleer of alle foutmeldingen en/of alarmen werken en duidelijk zijn.
  • Performance-testen.
  • Beveiliging.
  • Instellingen (landeninstellingen, eenheden, formats (bijvoorbeeld datumformats, decimaaltekens, tijdinstellingen).
  • Bevoegdheden/toegang/licenties. Het is onmogelijk om een medische informatietechnologie volledig te testen. Daarom is het noodzakelijk om tijdens het opstellen van het validatieprotocol goed na te denken welke zaken zeker getest moeten worden.