På Finsenscentret på Rigshospitalet har en gruppe læger for nylig kørt forsøg med Watson, hvor computeren skulle foreslå behandlinger på tre kræftområder: bryst-, lunge- og tyktarmskræft. Lægerne testede Watsons svar på 31 patienter, der allerede havde været i behandling, og i to tredjedel af tilfældene var Watson og lægerne nogenlunde enige om valget af behandling. Men i en tredjedel af tilfældene var Watsons forslag» helt i skoven «, som Leif Panduro Jensen udtrykker det. I et tilfælde foreslog Watson trestof-kemoterapikuren FOLFOX til en patient, der allerede havde fået 11 serier FOLFOX og viste bedring, men havde skader på nervebanerne. I evalueringsrapporten'Kunstig intelligens og innovation i sundhedsvæsnet'udarbejdet af IBM og Region H, kan man også læse lignende klare konklusioner:» Watson for Oncology er endnu ikke fuldt udviklet og fejl kan opstå «, og» Watson for Oncology er ikke trænet til at håndtere komplekse behandlingsforløb f. eks over en længer årrække «. Watson bliver pisket af kritikere Samme melding kom for nylig fra et hav af læger verden over på det anerkendte amerikanske sundhedssite Stat, der ejes af avisen Boston Globe. en usædvanligt grundig artikel har journalisterne blandt andet interviewet læger på en stor del af de 50 hospitaler i 13 lande, der i dag bruger Watsons kræftprogram, Watson Oncology, i dagligdagen. Og der tegner sig et meget klart mønster af en umoden teknologi. » Watson Oncology er på børnestadiet, og vi må vente og aktivt engagere os i håb om at hjælpe den med at vokse, «siger en sydkoreansk kræftspecialist ved navn Taewoo Kang til Stat. Kritikken er nådesløs, hvis man sammenfatter pointerne i Stat. Watson Oncology skaber ingen ny viden, den har svært ved at læse og forstå journaler, den er ikke underlagt offentlig regulering eller kvalitetskontrol, den er ikke underlagt en kritisk vurdering af dens kvalitet (peer-review), dens resultater er uigennemsigtige, og den er ikke godt nok opdateret med den seneste viden på området. DTU-forskeren peger på et problem, som også et utal af ikke-amerikanske læger peger på, nemlig at Watson er alt for præget af en amerikansk tilgang til kræftbehandling. En almindelig fejlslutning blandt læger er nemlig, at Watson Oncology trækker på erfaringer fra hele verden, når den kommer med forslag til behandlinger. Men her er det nødvendigt at forstå følgende: Watsons erfaringer med patienter stammer alene fra kræftcentret Memorial Sloan Kettering i New York. Det er her, Watson bliver trænet i sessioner, hvor de dygtigste læger fra hospitalet samles med IBM's folk og propper data ind i Watson ved at fortælle, hvordan de ville behandle patient x i et x-scenarie. Den erfaring kobler Watson med sin evne til at læse gennem forskningsartikler, og igen er det kræftspecialisterne på Memorial Sloan Kettering, der udvælger, hvilke artikler Watson skal læse, og hvilke computeren skal lægge mest vægt på. Da Watson Oncology blev testet på Rigshospitalet var den i et sent prototypestadie og var baseret på mere end 17.000 onkologitimer, fremgår det af en evalueringsrapport fra Region H. Til gengæld ser Watson ud til at klare sig markant bedre i kræftafdelinger, der har større ligheder med de amerikanske. I Indien og Sydøstasien er der glæde over, at Watson spare tid og øger kvaliteten af behandlingen. I nogle lande er der 96 procent overensstemmelse mellem Watsons valg af behandling og lægernes valg. Men. Det viser jo alene, at Watson kan tilbyde det samme som lægerne, lyder kritikken. Men ifølge centerdirektøren er der meget lang vej til det scenarie. » Det kræver et langt juridisk og teknologisk skridt, hvor Watson også kan få udstrakt adgang til internationale databaser, «siger han. ... men hvorfor kom du til det svar, Watson? Endelig er der en udfordring i gennemsigtighed. Watson er god til at give læger og forskere indsigt i, hvordan den er kommet frem til konklusioner baseret på forskningsartikler. Her kan eksperterne gå direkte ind og læse baggrundsartiklerne bag Watsons beslutning. Noget, der i øvrigt kan vise sig at give Watson en rolle i undervisningssammenhæng, peger flere læger på. Det er også fremragende i forskningsøjemed, hvis Watson bliver bedt om at finde oplagte kandidater til medicinske forsøg. Men når det gælder Watsons forslag til behandlinger baseret på data om patienter, så er det lukket land. I artiklen i Stat fortæller en sydkoreansk kræftkirurg, Taewoo Kang, for eksempel, hvordan Watson anbefaler en kemokur ved navn taxan til en bestemt patient. Lægen undrer sig over Watsons valg, da taxan normalt kun gives til patienter med lymfeknudekræft, og patienten har ikke kræft, der har spredt sig til lymfeknuderne. Om Watson har ret, er ikke pointen. Problemet er, at Taewoo Kang ikke kan få svar på, hvorfor Watson tager det valg. Betyder det så, at Watson er helt uduelig og slet ikke kan bruges til noget? Nej, lyder det klare svar fra både Leif Panduro Jensen og Lars Kai Hansen. Ifølge begge er Watson endnu under udvikling, og der er en række andre anvendelsesmuligheder, som er mest oplagte i første omgang. Centerdirektøren peger blandt andet på brug af Watson til at gennemgå røntgenbilleder eller scanninger efter brystkræft, og den anbefaling var også at finde i en rapport til Region Hovedstanden i marts. Jeg har svært ved at se, hvor der er fejl i Thomases artikel der betinger en omskrivning. Hvis du hentyder til rubrikken, står der intet om behandling. Man har sat Watson til at foreslå-ikke behandle. At det var et forsøg, understreges i underrubrikken for at tydeliggøre det. Hav en god mandag. Jo, men der er jo tale om forsøg, udvikling af Watson i tidligt stadie. Det lyder nærmest som om Watson har fejlet og bør skrottes. Og det er jo misvisende. I mine øjne er Watson stadig på børnehavestadiet, så AI'en udvikler sig jo nærmest ved at fejle- og blive korrigeret. Men den bedste sætning er dog "I en usædvanligt grundig artikel" med dagens standard for journalister så er det vel en indrømmelse at artikler i dag ikke er synderlig grundige og en sådan artikel som den nævnte i virkeligheden er det der hedder ordentligt arbejde og faglig stolthed hvilket ikke præger mediebilledet i dag. Det kunne være interessant at få oplyst succesraten for behandling af kræftpatienter i USA ifht. Europa, når nu lægerne åbenbart er uenige om den bedste metode. Hvis amerikanerne har større succes, så er det måske ikke Watson, men de europæiske behandlingsmetoder, der er noget galt med (eller omvendt). @ Claus: Fortvivl ikke... i de kommende dage kommer der flere artikler om Watson-også positive, for Region H er slet ikke færdige med doktoren. Når det så er sagt: Jeg mener kritiske vinkler på Watson er særdeles vigtige for tiden, for Watson, DeepMind eller andre kunstige intelligenser er kommet for at blive og de vil forandre vores samfund. Det er helt sikkert. @ Lars-Du har helt ret, og som jeg også nævner i artiklen er der i nogle lande op til 96 procent overensstemmelse mellem Watsons og lægernes valg. Og det er typisk dem, som ligner USA mere i sundhedsvæsnet. Hvorfor denne lighed, kan man så tænke lidt over. Svaret er ikke indlysende. Generelt klarer nordeuropæerne sig betydeligt bedre end amerikanerne, hvilket nok skyldes organiseringen af vores sundhedssystem. Iøvrigt skal man ikke glemme at der er geografiske forskelle i hvad der er bedste bh, simpelthen fordi indbyggerne er genetisk forskellige Hele ideen med "big data" og at bruge computere til at mine (sagt på engelsk) er at bruge store datasæt til at finde mønstre. Så giver det ikke meget mening at man beslutter sig for at fodre maskinen med en ganske lille datamængde og selektive artikler. Hvorfor ikke lave aftaler med mange forskellige kræftcentre i hele verden, give maskinen adgang til (anonymiserede) journaler for så mange patienter som muligt, med så meget medicinsk information samt valg af kure og så lade den mine de datasæt for at skabe sammenhæng imellem sygdom, andre patientfaktorer og behandlingsform. Samtidig kan man jo så give den adgang til hele lagret af videnskabelige artikler med en algoritme a la Google Scholar, der tillægger artikler vægt efter mængden af citater og anerkendelser. Der er stort potentiale for hvad man kan med al den computerkraft, men jeg kan godt forstå at man fra sygehusenes side ikke gider bruge tid på en lærende computer som de ikke kan lære noget. Men når projektet er så amerikansk, kuneńe man jo godt få konspiratoriske tanker og forestille sig at der er visse medico virksomheder der ikke er videre interesseret i en sådan analyse, da den måske vil vise at deres præparater er mindre egnede end konkurrentens. Og med medico virksomheders kursfølsomhed på børsen kunne det hurtigt koste flere virksomheder livet!