Ellenőrzés
Kitalált mondatok az orvosi átiratokban: a Whisper hibája
2024 októberében az AP arról írt, hogy az OpenAI Whisper beszédfelismerője időnként egész mondatokat talál ki, akár nem létező kezelést is. Egy erre épülő eszközzel addigra már milliónyi orvosi vizitet írtak át.
Az OpenAI a Whisper nevű beszédfelismerő modelljét az emberihez közeli pontosságúnak nevezte. Az Associated Press 2024. október 26-án megjelent cikke szerint azonban a modell hajlamos szövegrészleteket, sőt egész mondatokat kitalálni. Több mint egy tucat szoftverfejlesztő és kutató számolt be erről; a kitalált részek között faji megjegyzések, erőszakos kijelentések és képzelt orvosi kezelések is előfordultak. Az egyik átiratban egy nem létező gyógyszer neve szerepelt.
A jelenség pontos mértékét nehéz felmérni, de sok a jelzés. Egy egyetemi kutató nyilvános ülések felvételeinek átiratai közül tízből nyolcban talált kitalált szöveget. A Cornell és a Virginiai Egyetem kutatóinak 2024-es tanulmánya szerint az átiratok nagyjából 1 százalékában szerepeltek teljes kitalált kifejezések vagy mondatok, és ezek 38 százaléka kifejezetten ártalmas volt, például erőszakot sugallt. A hibák főként szünetek, háttérzaj vagy zene közben jelentkeznek; a tanulmány szerint gyakrabban azoknál, akiknek a beszédében hosszabbak a csendek.
Az OpenAI maga is óv attól, hogy a Whispert magas kockázatú területeken használják. Az egészségügyben mégis elterjedt. Az AP szerint a Nabla nevű cég Whisperre épülő eszközét több mint 30 000 klinikus és 40 egészségügyi szolgáltató használja, és becslés szerint 7 millió orvosi vizitet írtak át vele. Az eszköz adatbiztonsági okokból törli az eredeti hangfelvételt, így az átiratot utólag nem lehet a felvétellel összevetni. A cég szerint az orvosoknak át kell nézniük és jóvá kell hagyniuk a jegyzeteket; az OpenAI pedig közölte, hogy folyamatosan dolgozik a hallucinációk csökkentésén.
Mit tanulhatunk belőle?
A gépi átirat gyors és többnyire pontos, de nem tanúvallomás: félrehallhat, és ritkán ki is találhat dolgokat. A baj ott kezdődik, ahol a felvétel már nincs meg, vagy senki nem néz bele. A Confiella is Whisper-modellel ír át, a saját gépen; ettől a hang nem hagyja el a gépet, a kitalált mondatok ellen viszont ez nem véd. A jó gyakorlat egyszerű: mielőtt valami jegyzetbe vagy iratba kerül, a fontos részeket – idézeteket, számokat, neveket, gyógyszereket, kockázatra utaló mondatokat – vessük össze a felvétellel.
Források
- arXiv: Careless Whisper: Speech-to-Text Hallucination Harms
- Associated Press (Anchorage Daily News): Researchers say an AI-powered transcription tool used in hospitals invents things no one ever said
A cikk a felsorolt nyilvános források alapján készült. Ha hibát talál benne, írjon nekünk: [email protected]