Изкуственият интелект обещава да революционизира индустрии като здравеопазване и бизнес комуникации, но ново разследване на Associated Press (AP) поставя под въпрос надеждността на технологията - особено по отношение на медицината, разказва ArsTechnica.

Оказва се, че аудиотранскрипторът на OpenAI – Whisper – често добавя несъществуваща информация в транскрипциите, като това се случва дори в медицински и бизнес контекст, където последиците могат да бъдат сериозни. Изследването включва мнения на над 12 софтуерни инженери и изследователи, които съобщават, че моделът има склонност към "халюцинации" или "конфабулации" – добавяне на данни, които никога не са били казвани от говорителя.

Въпреки че OpenAI обяви през 2022 г., че Whisper притежава "почти човешка надеждност" при транскрипция на аудио, откритията на експерт от Университета на Мичиган разкриват, че до 80% от транскрипциите на публични заседания, анализирани чрез Whisper, съдържат фалшива информация. Непознат разработчик също твърди, че в почти всички от 26 000 транскрипции в неговия тестов набор са открити измислени данни.

Въпреки предупрежденията на OpenAI да не се използва в "високорискови области", инструментът се прилага в здравния сектор, като над 30 000 медицински служители разчитат на системи, базирани на Whisper за водене на пациентски записи.

Здравните заведения, като болниците в Лос Анджелис и клиниката в Минесота, ползват технологиите на Whisper, предлагани от медицинската компания Nabla, която осъзнава проблема с "халуцинациите" в софтуера. Въпреки това, оригиналните аудиозаписи често се изтриват, което пречи на лекарите да проверяват точността на транскрипциите. За пациентите със слухови увреждания подобна неточност би могла да доведе до сериозни последици, тъй като те не могат да потвърдят какво е било казано.

Защо Whisper халюцинира?

Феноменът на "халюцинацията" при Whisper се обяснява с техническите му особености. Моделът е обучен с огромни масиви от данни, но той генерира прогнозни, а не абсолютно точни отговори на базата на вероятности. Специалистите подозират, че инструментът е трениран върху видеоматериали от YouTube, което обяснява появата на случайни фрази като "харесайте и се абонирайте". Проблемът с "халюцинациите" е особено остър при лошо качество на звука или при липса на достатъчен контекст, което води до погрешни интерпретации, често подсилени от езикови и културни стереотипи.

При анализа на данни от Корнелския университет и Университета на Вирджиния се забелязват още по-смущаващи примери, където Whisper добавя измислени фрази с расистки и насилствени нюанси. При преразказ на неутрални реплики, около 1% от транскрипциите съдържат "изцяло измислени фрази или цели изречения". Наличието на такъв тип неточности и подвеждаща информация е особено опасно в случаи, където Whisper се използва за чувствителни разговори.

Реакцията на OpenAI и потенциалът за регулиране

OpenAI признава за откритията и работи по намаляване на подобни проблеми в бъдещите версии на Whisper. Но въпреки усилията за усъвършенстване, възможностите на инструмента в сектори, като медицината и бизнеса, вече се поставят под въпрос, а критиците настояват за по-строги стандарти и регулации в AI индустрията.

Този материал е написан с помощта на изкуствен интелект под контрола и редакцията на поне двама журналисти от Клуб Z. Материалът е част от проекта "От мястото на събитието предава AI".