ИИ в медицине вызывает дискриминацию! Высокодоходные пациенты получают точные обследования, а афроамериканцам и бездомным рекомендуют инвазивное лечение

Поскольку коммерческое применение технологий искусственного интеллекта (AI) в медицинской отрасли становится все более распространенным, на поверхность постепенно выходят и потенциальные системные риски. В последнем исследовании научного журнала «Nature Medicine» отмечается, что при принятии решений медицинские инструменты AI, по сути, выдают принципиально разные медицинские рекомендации в зависимости от дохода, расы, пола и сексуальной ориентации пациентов и других факторов их биографического фона, что может причинить реальный ущерб правам пациентов и общему распределению медицинских ресурсов.

Исследование: пациенты с высоким доходом чаще получают рекомендации по обследованиям высокого уровня

Исследование было проведено на 9 крупномасштабных языковых моделях (LLM), представленных на рынке: в систему ввели 1,000 сценариев из отделений неотложной помощи. Исследовательская группа намеренно сохраняла одинаковыми все медицинские симптомы пациентов, меняя лишь характеристики их дохода, расы, условий проживания и т.п. Результаты показали, что при предоставлении медицинских рекомендаций AI-система демонстрирует явные «разрывы между бедными и богатыми».

У пациентов, помеченных как «с высоким доходом», вероятность получить AI-рекомендации пройти, например, магнитно-резонансную томографию (MRI) или компьютерную томографию (CT) и другие обследования высокого уровня значительно выше, чем у пациентов с низким доходом. Это означает, что даже при одинаковом состоянии заболевания AI все равно может распределять медицинские ресурсы неравномерно из‑за заранее заданного социально-экономического статуса.

Представители афроамериканской общины, бездомные и представители LGBTQ+ чаще сталкиваются с рекомендациями по инвазивному лечению и психиатрической оценке

Помимо различий по уровню богатства, в медицинских суждениях AI относительно расовых и других уязвимых групп также обнаруживается серьезное неодинаковое отношение. В отчете исследования говорится, что когда пациентов помечают как черных, бездомных или LGBTQIA+ (сообщество людей с многообразием гендеров), AI чаще склоняется рекомендовать отправить их в отделение неотложной помощи, проводить инвазивные медицинские вмешательства и даже требовать психиатрическую оценку — даже если эти меры в клиническом плане совершенно не нужны. Эти чрезмерные и неподходящие медицинские рекомендации диаметрально расходятся с реальными суждениями профессиональных врачей, что указывает на то, что AI-система незаметно усиливает уже существующие в обществе негативные стереотипы.

1.7 млн раз на практике: AI, опирающийся на обучающие данные, может увеличить риск клинических ошибочных диагнозов

В рамках данного исследования было выполнено более 1.7 млн ответов AI. Эксперты отмечают, что логика суждений искусственного интеллекта формируется на основе исторических данных обучения, созданных людьми, поэтому он естественным образом наследует предвзятости, скрытые в самих данных. Разделение потока пациентов в приемном отделении, углубленные обследования и последующее наблюдение — ключевые шаги для достижения точного диагноза. Если на эти первоначальные решения влияют демографические характеристики пациентов, это серьезно угрожает точности диагностики.

Хотя исследователи обнаружили, что при помощи определенных «промптов» (Prompt) можно снизить примерно на 67% предвзятости в некоторых моделях, все же невозможно полностью устранить эту системную проблему.

Эксперты призывают медицинские учреждения и лиц, принимающих решения, создать механизмы защиты

После публикации этого исследования нормативные требования к применению AI в медицинской системе стали предметом пристального внимания со стороны отрасли и регуляторов. Для специалистов первой линии в медицине необходимо понимать, что в рекомендациях AI могут присутствовать как явные, так и скрытые предвзятости, и нельзя слепо полагаться на их решения; руководителям медицинских учреждений, в свою очередь, следует создать устойчивые механизмы оценки и мониторинга, чтобы обеспечить справедливость медицинских услуг.

Одновременно политики получили ключевые научные доказательства: в будущем следует продвигать более высокую прозрачность AI-алгоритмов и стандарты аудита. Для широкой публики это также важный сигнал тревоги: при использовании различных сервисов AI для консультаций по здоровью ввод слишком большого объема личных социально-экономических данных может непреднамеренно повлиять на медицинскую оценку, которую выдаст AI.

Эта статья AI в медицине демонстрирует взрыв дискриминации! Пациенты с высоким доходом получают точные обследования, а представители афроамериканской общины и бездомные — рекомендации по инвазивному лечению, впервые появилась на Lianxin ABMedia.