|
ИИ может усилить расовые предубеждения
|
|
|
|
Наем обычно приводится в качестве яркого примера алгоритмической предвзятости. Именно здесь в системе ИИ, предназначенной для выполнения конкретной задачи, случайно фиксируется тенденция отдавать предпочтение одним группам перед другими. Об этом ходит бесчисленное количество историй. Возможно, самый известный пример — это попытка Amazon использовать ИИ при наборе персонала. В этом случае резюме использовались в качестве данных для обучения или улучшения этого ИИ. Поскольку большинство резюме были от мужчин, ИИ научился отфильтровывать все, что связано с женщинами, например, быть президентом женского шахматного клуба или выпускницей женского колледжа. Излишне говорить, что Amazon не стала использовать эту систему более широко.
|
|
|
|
Точно так же практика съемки видеоинтервью с последующим использованием ИИ для их анализа на предмет пригодности кандидата регулярно подвергается критике за то, что она может привести к предвзятым результатам. Тем не менее, сторонники ИИ при найме предполагают, что он делает процессы найма более справедливыми и прозрачными за счет уменьшения предубеждений со стороны людей. Это поднимает вопрос: ИИ, используемый при найме, неизбежно воспроизводит предвзятость, или он действительно может сделать найм более справедливым? С технической точки зрения алгоритмическая предвзятость относится к ошибкам, которые приводят к неравным результатам для разных групп. Однако вместо того, чтобы рассматривать алгоритмическую предвзятость как ошибку, ее также можно рассматривать как функцию общества. ИИ часто основан на данных, взятых из реального мира, и эти наборы данных отражают общество.
|
|
|
Например, если цветные женщины недостаточно представлены в наборах данных, программное обеспечение для распознавания лиц имеет более высокий уровень отказов при идентификации женщин с более темным оттенком кожи. Точно так же в отношении видеоинтервью существует опасение, что тон голоса, акцент или языковые модели, характерные для пола и расы, могут повлиять на оценки. Другим примером является то, что ИИ может узнать на основе данных, что люди с именем «Марк» добиваются большего успеха, чем люди с именем «Мэри», и поэтому имеют более высокий рейтинг. Существующие предубеждения в обществе отражаются в данных и усиливаются ими.
|
|
|
|
Конечно, данные — не единственный способ найма, поддерживаемый ИИ, может быть предвзятым. При разработке ИИ используется опыт целого ряда людей, таких как специалисты по обработке и анализу данных и специалисты по машинному обучению (где можно обучить систему ИИ для улучшения того, что она делает), программисты, специалисты по персоналу, рекрутеры, промышленные и организационные психологи и специалисты по найму. менеджеров часто утверждают, что только 12% исследователей машинного обучения — женщины. Это вызывает опасения, что круг людей, разрабатывающих эти технологии, довольно узок.
|
|
|
|
Процессы машинного обучения также могут быть предвзятыми. Например, компания, которая использует данные, чтобы помочь компаниям нанимать программистов, обнаружила, что сильным предиктором хороших навыков программирования является посещение определенного сайта японских мультфильмов. Гипотетически, если вы хотите нанять программистов и использовать эти данные в машинном обучении, ИИ может затем предложить ориентироваться на людей, которые изучали программирование в университете, имеют слово «программист» в своей текущей должности и любят японские мультфильмы. В то время как первые два критерия являются требованиями к работе, последний не требуется для выполнения работы и, следовательно, не должен использоваться. Таким образом, дизайн ИИ в технологиях найма требует тщательного рассмотрения, если мы стремимся создать алгоритмы, поддерживающие инклюзивность.
|
|
|
|
Оценки воздействия и аудиты ИИ, которые систематически проверяют дискриминационные эффекты, имеют решающее значение для обеспечения того, чтобы ИИ при найме не увековечивал предубеждения. Полученные результаты затем можно использовать для настройки и адаптации технологии, чтобы исключить повторение подобных предубеждений. Поставщики технологий найма разработали различные инструменты, такие как аудит для проверки результатов на соответствие защищенным характеристикам или мониторинг дискриминации путем определения мужских и женских слов. Таким образом, аудиты могут быть полезным инструментом для оценки того, приводят ли технологии найма к предвзятым результатам, и для исправления этого.
|
|
|
|
Значит, использование ИИ при приеме на работу неизбежно ведет к дискриминации? В своей недавней статье я показал, что если ИИ используется наивным образом, без реализации мер защиты от алгоритмической предвзятости, то технология будет повторять и усиливать предубеждения, существующие в обществе, и потенциально также создавать новые предубеждения, которых раньше не было. Однако, если реализовать его с учетом включения в базовые данные, в принятые проекты и в то, как принимаются решения, найм с поддержкой ИИ может фактически стать инструментом для обеспечения большей интеграции.
|
|
|
|
Найм с поддержкой ИИ не означает, что окончательные решения о найме принимаются или должны оставаться на усмотрение алгоритмов. Такие технологии можно использовать для фильтрации кандидатов, но окончательное решение о найме остается за людьми. Таким образом, наем может быть улучшен, если ИИ внедряется с вниманием к разнообразию и инклюзивности. Но если окончательное решение о найме принимает менеджер по найму, который не знает, как создать инклюзивную среду, предвзятость может вернуться.
|
|
|
|
Источник
|
