De schrijfhulp van Attendi: een AI-assistent bij het rapporteren

In 2022 kregen ruim 20.000 zorgprofessionals toegang tot spraakgestuurd rapporteren van Attendi. Dankzij spraakgestuurd rapporteren kunnen zorgprofessionals nog in het bijzijn van de cliënt de rapportage inspreken. Vandaag presenteren we een volgende stap in spraakgestuurd rapporteren: de Attendi Schrijfhulp. De schrijfhulp zet spreektaal direct om in een goed leesbare rapportage. Met de schrijfhulp vertel je aan Attendi zoals je aan een collega zou vertellen wat er in de rapportage moet komen. Schrijfhulp schrijft de tekst om tot een complete en goed leesbare rapportage.

Schrijfhulp: “Schrijf mijn rapportage”

De schrijfhulp is een oplossing die zorgprofessionals helpt bij het opstellen van teksten. De zorgprofessional spreekt iets in en de Schrijfhulp zet de gesproken tekst om in een goed leesbare rapportage. Om dit te doen, wordt er gebruik gemaakt van grote taalmodellen – ook wel Large Language Models (hierna: LLM) genoemd. De meest bekende toepassing van zo een model is ChatGPT. De LLM’s zijn getraind met grote hoeveelheden data, waardoor ze in staat zijn om menselijke spreektaal te interpreteren. Op basis van die interpretatie genereert het model een kwalitatief leesbare tekst in schrijftaal.

Van spreektaal naar schrijftaal

“Het schrijven van rapportages is voor mij lastig. Ik kan een situatie aan een collega kort en bondig vertellen, maar iets op schrift krijgen is niet iets waar mijn vaardigheden liggen”

Op dit moment moeten zorgprofessionals een rapportage inspreken zoals zij dat ook zouden opschrijven. Dit is niet altijd eenvoudig, want er is een groot verschil tussen spreek- en schrijftaal. Bijna alle zorgprofessionals kunnen duidelijk aan collega’s vertellen wat de belangrijkste punten van een zorgmoment waren, maar om dat tot een mooi geschreven rapportage uit te werken is minder gemakkelijk. Een rapportage op een goede manier schrijven is dan ook een specifieke vaardigheid – iets waar niet iedere zorgprofessional over beschikt of altijd voldoende tijd voor heeft.

Hoe werkt dit voor zorgprofessionals

Wanneer de zorgprofessional op “Schrijf mijn rapportage” klikt, vraagt de oplossing: “Wat wil je in je rapportage vertellen?” De zorgprofessional kan op een natuurlijke manier antwoord geven op deze vraag, zoals hij of zij dat bijvoorbeeld zou doen tijdens een overdracht aan een collega.

Ingesproken fragment: “Gisteren MDO tussen HAP, wijkverpleging en ZTB. Besloten dat huisarts mevrouw gaat bezoeken.”

Uitgeschreven rapportage: Gisteren vond er een multidisciplinair overleg (MDO) plaats tussen de huisartsenpost (HAP), de wijkverpleging en de zorgtrajectbegeleiding (ZTB). Er is besloten dat de huisarts mevrouw zal bezoeken.

Attendi maakt op basis van gesproken woorden een transcript. Het LLM gaat vervolgens met de tekst aan de slag aan de hand van meegegeven instructies. Als instructies geven we bijvoorbeeld aan dat er een rapport moet worden geschreven dat goed leesbaar is voor zowel cliënten als zorgprofessionals en de inhoud niet mag worden gewijzigd – maar wél opgeschreven in lijn met de bekende criteria van een kwalitatieve rapportage. Op basis van het transcript en de meegegeven instructies ontstaat een eerste aanzet tot een uitgeschreven rapportage. De zorgprofessional hoeft dan alleen nog de inhoud te controleren en eventueel aan te passen waar nodig. Zo ontstaat er op een natuurlijke en eenvoudige manier een rapportage die direct voor iedereen goed leesbaar is zonder dat het de zorgprofessional veel tijd kost. “Schrijf mijn rapportage” is de eerste functionaliteit van de Schrijfhulp die we als Attendi in bèta gaan testen met zorgprofessionals.

Meedoen aan de bèta-periode of wil je een demo? Neem dan contact met ons op.

Verdieping in de veilige toepassing van de schrijfhulp

Het gebruik van LLM’s in de gezondheidszorg biedt tal van mogelijkheden, maar is niet zonder risico’s. Het grootste risico is dat er iets wordt opgeschreven dat logisch klinkt, maar niet in lijn ligt met de inhoud van ingesproken rapportage. Dit wordt ‘hallucineren’ genoemd. De technologie is effectief in het verwerken van natuurlijke spreektaal en het produceren van natuurlijke tekst op basis van de data en de parameters waaruit het onderliggende model is opgebouwd, maar het kan geen zekerheid bieden dat wat het produceert ook feitelijk correct is. Als Attendi hebben we er dan ook bewust voor gekozen om geen medisch advies op welke manier dan ook te verstrekken.

Attendi geeft het taalmodel een schrijfopdracht met duidelijke kaders: het ingesproken transcript. Dit transcript is zeer accuraat – in de wijkzorg hebben we als Attendi inmiddels een landelijke nauwkeurigheid van 95%. Hierdoor zal de input voor het LLM nauwkeuriger zijn, waardoor de kans op ‘hallucineren’ van het model kleiner wordt. In de schrijfopdracht formuleren we duidelijk dat er inhoudelijk niks mag veranderen van wat de zorgprofessional communiceert. We geven verder instructies die in lijn liggen met de belangrijkste criteria van een goede rapportage.

Naast het risico op hallucinaties bestaat het risico dat de zorgprofessional onvoldoende kritisch is op het eindresultaat, waardoor de nuance van de oorspronkelijke rapportage verloren gaat, of dat de feature niet duidelijk genoeg is voor zorgprofessionals.

Daarom testen we de risico’s en gebruiksvriendelijkheid eerst in een gecontroleerde setting voordat we het op grotere schaal beschikbaar maken. De zorgprofessional zal wel altijd de inhoud goed moeten controleren alvorens de rapportage definitief wordt toegevoegd aan het dossier. Bij aanvang waarborgen we dit door bij de aangeleverde tekst altijd een stuk tekst voor de rapportage te zetten waaruit blijkt dat de rapportage is gegenereerd door Schrijfhulp en moet worden geëvalueerd door de zorgprofessional alvorens deze in het dossier kan worden gezet.

Fase 1: Testen op basis van historische rapportages

Fase 1 van de livegang is erop gericht om de op voorhand bekende risico’s zoveel mogelijk te reduceren zonder deze in de praktijk te testen. Bij de ontwikkeling van de schrijfhulp is gebruik gemaakt van geanonimiseerde rapportages, vooral van zorgprofessionals die net zijn gestart met spraakgestuurd rapporteren. In die rapportages is vaak duidelijk hoorbaar dat de zorgprofessionals moeite hebben met het moeten uitspreken van een gestructureerde schriftelijke rapportage. Dit zijn de rapportages waarvoor schrijfhulp het meest waardevol kan zijn.

Deze transcripten gebruiken we als input voor de oplossing, waarna we de output controleren. Om die output te controleren, werken we met zogeheten ‘Medical Annotation Specialists’ – studenten Geneeskunde die in opdracht en dienst van Attendi de ingevoerde data annoteren (controleren op fouten). Bij de controle letten zij erop dat de gecommuniceerde inhoud intact blijft. Op basis van de uitkomsten van de controle, passen we de gebruikersinterface, de instructies (prompts) voor het LLM, en het gebruik van begeleidende tekst aan. Het gebruik van begeleidende tekst is daarbij zeer belangrijk, de begeleidende tekst heeft namelijk invloed op wat de zorgprofessional gaat zeggen. Als de zorgprofessional goed begrijpt wat in een antwoord wordt verwacht, ontstaat het meest effectieve en foutloze resultaat.

Fase 2: Bèta testen

In de tweede fase van de ontwikkeling gaan we in samenwerking met een kleine groep zorgprofessionals de oplossing testen in de praktijk. Door de oplossing in de praktijk te testen, krijgen we zicht op risico’s die we buiten een praktijksituatie niet in kaart kunnen brengen. Bovendien kunnen we aan de hand van data uit de praktijk kwantificeren wat de foutmarge van de oplossing is en verbeteringen toepassen – en monitoren wat de resultaten van die verbeteringen zijn. Tijdens de bèta-periode is het belangrijk om te bepalen of het voorgestelde gebruikersinterface effectief is in het aanzetten tot een kritische evaluatie van de resultaten.

Fase 3: Kwaliteit monitoring bij opschaling 

Zodra fase 2 positief is afgerond en de risico’s effectief zijn gereduceerd, kan de oplossing worden opgeschaald. Bij opschaling monitoren we, net als bij onze huidige spraakoplossing, constant de kwaliteit van de oplossing. Bij de door Attendi gegenereerde teksten ontvangen we altijd het transcript en het door de zorgprofessional geplaatste eindresultaat. Daarnaast voorzien de Medical Annotation Specialists van Attendi de transcripten die we als voorbeeld voor het grote taalmodel gebruiken altijd van een feitelijk correct resultaat. Dezelfde terugkoppeling zal ook van toepassing zijn op deze oplossing, waardoor we constant zicht hebben op de kwaliteit en kunnen bijsturen waar nodig. Verder zullen we zorgprofessionals gaan trainen in het werken met deze oplossing en het kritisch beoordelen van de resultaten. 

Werken met een eigen taalmodel, of niet?

Attendi werkt met kunstmatige intelligentie (A.I.) modellen die in eigen beheer zijn om twee redenen. De eerste en belangrijkste reden is dat we volledige controle hebben over de werking van het model. Dit is relevant omdat we ons specifiek richten op toepassingen in de gezondheidszorg. Doordat we controle hebben over het hele model, kunnen we de werking van het model beïnvloeden om optimaal aan te sluiten bij onze gebruikers.

De tweede reden is dat we samen met zorginstellingen volledige controle houden over privacygevoelige gegevens. Op beide aspecten willen we in het beschikbaar stellen van de schrijfhulp geen concessies doen.

Er is een analyse uitgevoerd om te bepalen of we in fase 1 en fase 2 moeten starten met ons eigen model of een bestaande oplossing. De conclusie is dat we beginnen met het gebruik van een bestaande oplossing, namelijk de OpenAI API op Azure (het computing platform van Microsoft). Tegelijkertijd werken aan ons eigen model. Hierdoor kunnen we eerst effectief, nauwkeurig en veilig testen met zorgprofessionals voordat we ons eigen model trainen. Tijdens het opschalen zullen we ons eigen model gebruiken.

Op dit moment werken we met twee A.I. modellen: GPT-3.5-turbo van OpenAI via Microsoft Azure, en een open-source (een software waarvan de code vrij beschikbaar is voor iedereen) model dat we aanvullen met onze eigen data en afstemmen op basis van de onderzoeksresultaten die we in de testfase boeken met OpenAI. Door in testfase 1 en 2 gebruik te maken van OpenAI, verzamelen we alle benodigde data om uiteindelijk te kunnen opschalen met ons eigen model in fase 3.

Waarborging van privacygevoelige data

Tijdens de bèta-periode met GPT-3.5-turbo via Azure voldoen we na een selectieproces met Microsoft aan de hoogste veiligheidseisen. Via Azure gebruiken we een ’Private Endpoint’. Dat houdt in dat de service alleen toegankelijk is via ons eigen virtuele netwerk. Net zoals bij onze huidige oplossing, verlaat de data nooit het netwerk. De service draait in Nederland, waardoor de data binnen de landsgrenzen blijft en het Nederlandse recht van toepassing is.

Normaal gesproken wordt de data die wordt gebruikt voor deze service standaard 30 dagen opgeslagen door Microsoft Azure. Nadat de toepassing is onderzocht, heeft Attendi goedkeuring ontvangen van Microsoft dat de data nooit wordt opgeslagen. Hierdoor blijven we voldoen aan de overeengekomen datawaarborging voor het verwerken van privacygevoelige data.

Om de veiligheid verder te waarborgen, slaan we de gegevens enkel op als daar expliciet toestemming voor is gegeven door de zorgorganisatie. Alleen personen met toegangsrechten bij Attendi kunnen na goedkeuring bij de gegevens. Deze stappen zijn nodig om met vertrouwen in de praktijk te kunnen testen. Zodra de functionaliteit wordt opgeschaald met ons eigen model, blijven deze principes gehandhaafd, maar krijgt Attendi meer controle over het model, waardoor we de kwaliteit verder kunnen optimaliseren.