ИИ-диагносты проваливают тест на расизм и сексизм: Почему алгоритмы не видят болезни у женщин и чернокожих пациентов?

Чем больше ИИ внедряют в медицину, тем чаще всплывает проблема: алгоритмы дискриминируют женщин и чернокожих. Новое исследование в Science показало, что модель CheXzero (одна из передовых кстати, разработана в Стенфорде), созданная для анализа рентгенов грудной клетки, пропускает заболевания у чернокожих женщин в 50% случаев — будто смотрит на снимки через запотевшее стекло.

• Обучали на перекошенных данных: 400 тыс. снимков из Бостона, где большинство пациентов — белые мужчины 40–80 лет.

• У чернокожих пациентов ИИ чаще пропускал кардиомегалию (увеличение сердца).

• У женщин и людей младше 40 лет ошибки в обнаружении отёка лёгких.

• В комбинации «чёрная женщина» точность падала вдвое.

Исследователи из UCLA выяснили:

• CheXzero угадывает расу по рентгену с точностью 80% (врачи — максимум 50%).

• Скрытые сигналы: Алгоритм находит паттерны в снимках, невидимые глазу. Например, связывает плотность костной ткани или форму органов с расой — и ошибочно привязывает это к диагнозам.

• Язык ярлыков: Если дать ИИ информацию о поле/расе пациента, точность улучшается, но ненадолго. Предвзятость зашита в самой архитектуре модели.

ИИ в медицине — отличная вещь, но только для белых мужчин.

Подписывайтесь на мой TG канал - Neko.Play.Panic()там побольше делюсь мыслями, интересными находками и новостями о всяком.