В течение последних нескольких лет исследователи работали над выявлением предвзятости ИИ, особенно тех, которые используются в области медицины, но, как правило, находили корень проблемы.
Одно недавнее исследование, проведенное в 2019 году, показало, что алгоритм, используемый больницами в США для выявления пациентов с хроническими заболеваниями, имеет значительную предвзятость в отношении чернокожих.
Искусственный интеллект, продаваемый медицинской фирмой Optum, непропорционально рекомендовал медикам уделять больше внимания белым людям, даже когда темнокожие пациенты болеют.
По их словам, алгоритм, разработанный для того, чтобы помочь пациентам оставаться на приеме лекарств или выписаться из больницы, не был намеренно расистским, поскольку он специально исключает этническую принадлежность при принятии решений.
Вместо того, чтобы использовать данные о болезни или биологические данные, технология использует информацию о затратах и страховых выплатах, чтобы предсказать, насколько здоров человек.
Ученые из университетов Чикаго, Бостона и Беркли отметили ошибку в своем исследовании, опубликованном в журнале Science, и работают над исправлением Optum.