Läkemedelsverket granskar AI-assistenter i sjukvården

De aktuella systemen spelar in vårdsamtal, omvandlar tal till text och genererar strukturerad journalinformation med medicinskt innehåll. Flera produkter på marknaden använder avancerade språkmodeller och marknadsförs som stöd för effektivare dokumentation, minskad administrativ börda och förbättrad arbetsmiljö i vården.

– Utvecklingen går snabbt och tekniken innebär stora möjligheter. Samtidigt är det avgörande att produkterna är säkra och fungerar som avsett, och att risker för patientsäkerheten förebyggs och hanteras strukturerat – vilket också är syftet med de regelverk som produkterna ska uppfylla, säger Sandra Sjöåker som är utredare på Läkemedelsverket.

Ökad kunskap om teknik, funktion och risker

Inspektionerna syftar till att öka kunskapen om hur dessa AI-baserade transkriberingssystem är uppbyggda, hur AI-modellerna tränas och valideras, hur de fungerar i klinisk miljö samt hur tillverkarna arbetar med riskhantering och kvalitetsledning.

Särskild uppmärksamhet kommer att riktas mot:

• hur medicinskt innehåll genereras och kvalitetssäkras
• hantering av felaktiga eller ofullständiga sammanfattningar
• transparens och spårbarhet i AI-modeller
• tillämpning av de regelverk som produkten omfattas av.

Beroende på hur systemen är avsedda att användas kan de omfattas av EU:s regelverk för medicintekniska produkter (MDR) och därmed behöva uppfylla krav på bland annat riskhantering, klinisk utvärdering, prestanda, kvalitetssystem och CE-märkning.

Viktigt att förstå vilken produkt man utvecklar

Myndigheten ser att gränsdragningen mellan administrativt stöd och medicinteknisk funktion inte alltid är tydlig i utvecklingen av AI-baserade system.

– Det är avgörande att tillverkaren tidigt analyserar vad deras system faktiskt ska göra i vårdprocessen och vilka regelverk som då gäller. Om systemet inte bara spelar in och skriver ut ett patientsamtal ord för ord, utan också bearbetar och sammanställer patient-specifik medicinsk information med hjälp av AI som sedan används som underlag för vårdbeslut, omfattas det troligen av regelverket för medicinteknik. Det är alltså inte tillräckligt att betrakta produkten som enbart ett dokumentationsstöd om den i praktiken påverkar det medicinska beslutsunderlaget och patientens vård, avslutar Sandra Sjöåker.

Rapport för nationellt och europeiskt bruk

Arbetet kommer att sammanställas i ett kunskapsunderlag i form av en rapport. Syftet är att bidra till ökad regulatorisk tydlighet och en gemensam förståelse av risker och krav – både nationellt och i europeiska sammanhang.

Resultaten kan komma att användas som stöd för fortsatt tillsyn, vägledning till branschen och samverkan med andra myndigheter inom EU.