Reviews, rapporten, nieuwsberichten, verslagen en evaluaties. Inspecties krijgen te maken met grote bergen tekst. Voor de Inspectie Gezondheidszorg en Jeugd (IGJ) kan ‘textmining’ uitkomst bieden om tekstdata snel te analyseren, ordenen en doorgronden. Twee data scientists van de IGJ vertellen hoe zij deze techniek toepassen en wat ze ermee willen bereiken.
Wat is textmining nou precies?
Bij textmining ‘leest’ slimme software teksten door, om die vervolgens te ordenen en analyseren. Dat gebeurt met behulp van analysetechnieken, zoals data mining. Dit is het analyseren van veel data om afwijkingen, patronen en trends te vinden. Een andere analysetechniek is machine learning, zoals het trainen van een algortime op basis van eerder gelabelde data. Textmining is voor allerlei toepassingen in te zetten. Bijvoorbeeld bij het classificeren van teksten of om thema’s en trends of andere informatie te ontdekken in de inhoud ervan.
Bij de IGJ merken ze het al langer: voor goed toezicht moeten ze steeds meer narratieven doorgronden. Reviews van patiënten op Zorgkaart.nl zijn soms lange teksten, net als klachten die burgers indienen bij de inspectie. Ook zorginstellingen en ziekenhuizen zelf leggen steeds vaker verantwoording af in kwaliteitsrapporten en evaluaties. Dit zijn vaak lange teksten waarvan makkelijk te analyseren cijfers maar een klein onderdeel zijn. Daarnaast zijn berichten op social media, blogs, landelijke en plaatselijke nieuwssites vaak interessante bronnen voor de inspectie.
“Deze beschikbaarheid van narratieven is waardevol. Zo kunnen zorginstellingen meer context bieden en daar blijkt toch veel behoefte aan.”
“Deze beschikbaarheid van narratieven is waardevol”, stelt Karlijn Woutersen, data scientist bij de IGJ. “Zo kunnen zorginstellingen meer context bieden, en daar blijkt veel behoefte aan. Cijfers vertellen niet het hele verhaal, zo geven zij aan. Daarnaast bereiken burgers ons ook steeds makkelijker via kanalen als Zorgkaart.nl en social media. Het betekent wél dat wij als inspectie moeten meebewegen. Wij willen zo snel mogelijk informatie uit grote lappen tekst kunnen halen, onder meer om snel risico’s in te schatten en om onze eigen informatiepositie te borgen. Maar we hebben niet de menskracht om dit handmatig te doen. Daarnaast is het vaak lastig om op het oog trends te ontdekken uit veel of lange teksten. Textmining biedt dan een uitkomst.”
Strijdbare toezichthouders
Het gebruik van deze techniek is relatief nieuw onder toezichthouders, maar heeft meteen een hoge vlucht genomen. De IGJ was rond 2019 een van de eerste inspecties die met textmining begon te experimenteren. Ook de Inspectie Leefomgeving en Transport, de NVWA en de toenmalige Inspectie SZW waren toen met deze en andere data science-technieken aan het experimenteren.
“We vonden elkaar als verschillende inspecties toen al en vormden de ‘Gideonsbende’: een klein groepje strijdbare mensen”, grapt Pieter van Dyk, coördinator van het data science-team van de IGJ. “We wisselden kennis uit en al snel hebben we met hulp van Bureau Inspectieraad een opleiding opgericht met een curriculum van twaalf weken, waarmee data analisten zich snel op hoofdlijnen in data science-technieken kunnen bijscholen.”
Enkele experimenten met textmining bij de IGJ
1. Efficiëntere triage door risicoscan
Toen de IGJ in 2019 voor het eerst met textmining experimenteerde, was dat nog met hulp van TNO, omdat ze er zelf geen kennis over in huis hadden. Van Dyk: “We kregen steeds meer meldingen van incidenten met medische hulpmiddelen. Dat zijn software, apparatuur en gebruiksmiddelen die nodig zijn bij het verlenen van zorg. We wilden met textmining en machine learning-technieken een algoritme ontwikkelen dat hoog en laag risico meldingen kon onderscheiden. Om zo efficiënter de urgentie van een melding te bepalen.”
2. Ordenen op sentiment en risiconiveau
“Na deze proef volgde datzelfde jaar een tweede textmining-onderzoek. Dit keer of je het sentiment van burgerklachten kan onderzoeken en of je ze kunt labelen op bijvoorbeeld een klacht over bejegening of over een medische fout. Daarnaast keken we of je bij binnenkomst van zo’n klacht kunt voorspellen wat de ernst van de melding is. Ook hier wilden we proberen of zo sneller de urgentie van een klacht kon worden bepaald en daarmee welke afdeling hem kan afhandelen. We hebben gezien dat het ter ondersteuning ingezet zou kunnen worden.”
Na de eerste coronagolf onderzochten we of we met textmining uit internetberichten vroegtijdig signalen hadden kunnen oppikken over wat in zorginstellingen gebeurde.”
3. Signalen vroeg in zicht
De pandemie vereiste vanaf de start veel menskracht binnen de IGJ. Tegelijkertijd ontstonden er ook kansen voor nieuwe experimenten met textmining. Van Dyk: “Na de eerste coronagolf onderzochten we of textmining had kunnen ondersteunen bij het oppikken van vroegtijdige signalen uit internetberichten. Bijvoorbeeld over wat in zorginstellingen gebeurde. door deze berichten te scannen op termen die te maken hadden met beschermende middelen. Overigens is deze toepassing lang niet altijd succesvol, omdat er op internet ook veel ruis is.”
4. Trends ontdekken
Woutersen: “We gebruiken intelligent document processing – een vorm van textmining – om een beter beeld te krijgen van ‘gedwongen zorg’. Wanneer zorginstellingen bepaalde gedwongen zorg willen leveren moeten zij dit voorleggen aan een rechter. De uitspraken van de rechter krijgen wij. Doel is om dit type zorg terug te dringen. Door de grote hoeveelheid documenten die wij ontvangen – zo’n 25.000 in 2021 – is het niet mogelijk om hier handmatig relevante informatie uit te halen of trends te ontdekken. Daarom proberen we met intelligent document processing relevante informatie uit de afschriften van rechtbanken over gedwongen zorg te halen zodat deze verder geanalyseerd kan worden. Door op deze manier heel veel documenten te verwerken, kunnen we in de toekomst achterhalen wat de trends zijn op het gebied van gedwongen zorg.”
Groeien en samenwerken
Terwijl de experimenten met textmining toenamen, groeide ook het data science-team bij de IGJ. Pieter van Dyk heeft intussen zes data scientists om zich heen. Van Dyk: “We werken heel projectmatig en starten vooral projecten op basis van behoeften die we bij inspecteurs waarnemen. We willen wel dat collega’s ons zélf ook weten te vinden. Daarvoor moeten we ons team nog beter op de kaart zetten. Voor inspecteurs is het nu nog lastig inschatten wat we voor ze kunnen betekenen. Verder pakken we projecten agile op: dus samen met inspecteurs data science-toepassingen ontwikkelen en aanpassen, waaronder ongetwijfeld ook genoeg projecten waarin textmining een rol speelt.”
“Zo willen we textmining, en data science in het algemeen, inzetten om toezicht te ondersteunen.”
Toekomst en doelen
Waar het team met textmining naartoe wil? “Dat ligt aan het doel. Het is geen one size fits all”, vertelt Woutersen. “Ik denk bijvoorbeeld aan een textminingtechniek die belangrijke passages markeert. Dat scheelt tijd en moeite voor de inspecteurs. Daarnaast willen we op grote schaal rapporten scannen om thema’s in beeld te brengen of om regionale uitdagingen te kunnen ontdekken in tekstdata. Zo willen we textmining, en data science in het algemeen, inzetten om toezicht te ondersteunen. We verliezen hierbij de winst voor zorgaanbieders en patiënten niet uit het oog: deze techniek helpt hen om beter gehoord te worden.”
