ИИ-секретари врачей путают названия лекарств и диагнозы: предупреждает NHS Watchdog

ИИ-секретари слушают консультации пациентов с врачами и автоматически составляют их расшифровки и краткие записи. Healthwatch England, надзорная организация NHS, обнаружила, что такие системы могут неправильно распознавать названия заболеваний и лекарств.

В одном случае женщина, работающая в NHS, сильно переживала после того, как ИИ-секретарь неверно записал в итогах разговора диагноз «демиелинизация» — серьёзное повреждение нервов, которое может привести к рассеянному склерозу. Ошибку исправили только после того, как пациентка сама обратила внимание на запись результата МРТ. В больнице подтвердили, что там должно было быть указано «отсутствие демиелинизации». Женщина рассказала Healthwatch, что пережила травмирующий опыт: ей сообщили неправильный диагноз, а затем объяснили случившееся опечаткой.

Healthwatch England привела этот и другие случаи, чтобы показать потенциальный риск для безопасности пациентов на фоне быстрого внедрения технологии в NHS. Если ошибки не обнаружить, они могут сохраниться в медицинских картах и повлиять на дальнейшую помощь.

В другом случае ИИ-секретарь перепутал препарат, назначенный врачом общей практики, с другим лекарством с похожим названием. Ошибку снова заметил пациент, а не врач. Ещё в одном эпизоде письмо с автоматически созданным резюме не содержало указания больничного консультанта повторно получить у врача общей практики рецепт от мигрени. Из-за этого пациент мог остаться без нужного лекарства.

Healthwatch, официальный представитель интересов пациентов NHS, сообщила о нескольких историях, в которых пациенты находили ошибки, незамеченные медицинскими работниками. Если пациент не проверит запись, неточности могут остаться в его медицинской карте.

Планы NHS

Десятилетний план правительства по развитию NHS в Англии предусматривает внедрение ИИ-секретарей, чтобы освободить сотрудников от бюрократической и административной работы и дать им больше времени на лечение и общение с пациентами. Технология стала частью запланированного перехода NHS от аналоговой системы к цифровой.

В Healthwatch заявили, что здравоохранение никогда не обходилось без ошибок, однако теперь необходимо срочно объяснить пациентам, как сообщать об ошибках ИИ-секретарей и врачей, а также добиваться их исправления.

Глава Ассоциации пациентов Рейчел Пауэр считает, что доверие к этой технологии зависит от качественной коммуникации и полноценного сотрудничества с пациентами. По её словам, сейчас не хватает и того, и другого.

Healthwatch также назвала тревожным решение Агентства по регулированию лекарственных средств и медицинских изделий не относить ИИ-секретарей к медицинским изделиям. Поэтому в Англии не будет единого надзора, который проверял бы безопасность и эффективность таких систем.

Врачи общей практики и больничные специалисты в Англии уже используют 27 разных ИИ-секретарей. Министрам также сообщили, что NHS и медицинские работники могут столкнуться с исками из-за ошибок, допущенных такими системами.

Недавно точность ИИ оказалась в центре внимания после жалоб пациентов из Ротерема. Они рассказали местному отделению Healthwatch, что ИИ-регистратор, которым пользовались некоторые врачебные практики, не понимал сильный йоркширский акцент.

Ошибки в расшифровках

В прошлом году лондонский врач общей практики Шир Зизер Давуд предупредила в ведущем медицинском журнале, что ИИ-секретари могут стать для семейных врачей инструментом с противоположными последствиями.

Она описала случай, когда ИИ-секретарь записал, будто врач посоветовала пациенту продолжать принимать «Прозак», хотя сама Давуд этот препарат не назначала и не обсуждала. Такие случаи называют галлюцинациями: ИИ добавляет в запись то, чего во время консультации не было.

По словам Давуд, врачам приходится проверять все расшифровки, чтобы находить ошибки. Поэтому ИИ-инструменты пока не всегда экономят время.

Руководители NHS рассчитывают, что благодаря ИИ-секретарям врачам общей практики больше не придётся делать записи во время приёма. Из-за этого от них могут потребовать принимать ещё по два пациента в день, хотя консультации у врачей общей практики в NHS и так одни из самых коротких в мире. Об этом Давуд написала в British Journal of General Practice.

Шарлотта Блис, эксперт по применению ИИ в здравоохранении из Уппсальского университета в Швеции, отметила, что ИИ действительно допускает ошибки.

Её исследование показало: врачи общей практики считают ошибки более вероятными, когда на консультации присутствуют несколько человек, у пациента сложная медицинская история или английский не является его родным языком.

При этом Блис подчеркнула, что врачи и без ИИ могут ошибаться. По её мнению, пока нельзя исключить, что с ИИ частота ошибок становится выше.

Более половины из 1 003 британских врачей общей практики, опрошенных в прошлом году, заявили, что записи, созданные технологией фоновой записи разговоров, кажутся им точнее тех, которые они составляют самостоятельно.