ИИ демонстрируют явную предвзятость по отношению к резюме чернокожих и женщин
Любой, кто знаком с кадровыми практиками, вероятно, знает о десятилетиях исследований, показывающих, что резюме с чернокожими и/или женскими именами в верхней части получают меньше ответов и собеседований, чем резюме с белыми и/или мужскими именами — даже если остальная часть резюме идентична. Новое исследование показывает, что те же самые виды предубеждений также проявляются, когда для оценки резюме вместо людей используются большие языковые модели.
В новой статье, опубликованной на конференции AAAI/ACM по ИИ, этике и обществу, два исследователя из Вашингтонского университета прогнали сотни общедоступных резюме и описаний вакансий через три различные модели массового внедрения текста (MTE). Каждая из этих моделей, основанных на Mistal-7B LLM, была доработана с немного отличающимися наборами данных для улучшения базовых возможностей LLM в “репрезентативных задачах, включая поиск, классификацию и кластеризацию документов”, по словам исследователей, и достигла “передовой производительности” в бенчмарке MTEB.
Вместо того, чтобы спрашивать о точных соответствиях терминов из описания работы или оценивать с помощью подсказки (например, “соответствует ли это резюме описанию работы”?), исследователи использовали MTE для генерации встроенных оценок релевантности для каждой пары резюме и описания работы. Чтобы измерить потенциальную предвзятость, резюме сначала прогонялись через MTE без каких-либо имен (для проверки надежности), а затем снова прогонялись с различными именами, которые достигли высоких расовых и гендерных “баллов отличительности” на основе их фактического использования в группах в общей популяции. Затем анализировались 10 процентов резюме, которые MTE оценили как наиболее похожие для каждого описания работы, чтобы увидеть, были ли имена для какой-либо расы или гендерной группы выбраны с более высокими или более низкими показателями, чем ожидалось.
В более чем трех миллионах сравнений резюме и описаний должностей проявились некоторые довольно явные предубеждения. Во всех трех моделях MTE белые имена были предпочтительны в целых 85,1 процентах проведенных тестов, по сравнению с черными именами, предпочитаемыми всего в 8,6 процентах (остальные показали разницу в баллах, достаточно близкую к нулю, чтобы считаться незначительной). Когда дело дошло до гендерных имен, мужское имя было предпочтительным в 51,9 процентах тестов, по сравнению с 11,1 процентами, где предпочиталось женское имя. Результаты могут быть еще более четкими в «перекрестных» сравнениях, включающих как расу, так и пол; черные мужские имена были предпочтительнее белых мужских имен в «0% тестов на предвзятость», написали исследователи.