1. Статьи
  2. Рекрутеры Остерегайтесь: ИИ тоже может дискриминировать
Для доступа к заказчикам и разработчикам необходимо авторизоваться
24 октября 2021 в 14:57

If you think AI will magically make your biased hiring decisions disappear, think again.

Изображение заголовка «Рекрутеры, остерегайтесь: ИИ тоже может дискриминировать»

Note: This article is intended to inform our readers about business-related concerns in the United States. It is in no way intended to provide legal advice or to endorse a specific course of action. For advice on your specific situation, consult your legal counsel.

In 2014, Amazon wanted to solve the problem of ranking job candidates once and for all.

Their solution was a new tool—powered by machine learning and artificial intelligence (AI)—that would take all of the guesswork and human biases out of finding the best candidate for a given position. Feed the tool a hundred resumes, and it would automatically score each of them on a scale of one to five stars.

На бумаге технология была мечтой каждого рекрутера. Однако на практике это не могло быть более кошмарным.

Инструмент оценивал кандидатов, сравнивая слова и фразы в представленных резюме с теми, которые были найдены в сотнях прошлых резюме, а также резюме нынешних сотрудников Amazon, чтобы найти сходство. Чем больше совпадений, тем лучше результат.

Но поскольку ИТ-должности в Amazon и других местах были (и остаются) непропорционально большим количеством мужчин , инструмент сделал нечто неожиданное: он научился наказывать кандидатов-женщин на эти должности. Если кандидат поступал в женский колледж, ее понижали. То же самое, если она, например, упомянула, что состоит в «женском шахматном клубе».

Ой.

К 2017 году от инструмента отказались . Как истинный безумный ученый, то, что Amazon создала для устранения предвзятости в их решениях о приеме на работу, в конечном итоге только ухудшило ситуацию.

И если это может случиться с Amazon, то может случиться и с вами.

Дискриминация искусственного интеллекта больше не проблема Amazon

Сегодня вам не нужны ресурсы Amazon, чтобы использовать искусственный интеллект и машинное обучение в процессе набора персонала; Все больше и больше коммерчески доступных программных систем для набора персонала добавляют эту технологию, чтобы помочь в принятии тупых и трудоемких решений о талантах.

И все больше и больше компаний обращают на это внимание. Согласно исследованию Platforms Top Technology Trends 2018 , по крайней мере 32% малых и средних предприятий (SMB) в США будут использовать ИИ и машинное обучение к 2020 году. Согласно опросу Korn Ferry, проведенному в 2018 году, 63% рекрутеров считают, что ИИ уже изменили способ найма в своей организации.

Круговая диаграмма, демонстрирующая инвестиционные планы малого и среднего бизнеса в США с использованием ИИ и машинного обучения.

Это захватывающие новости, и если вы читаете эту статью, я предполагаю, что вы положили глаз на одну из этих платформ на базе искусственного интеллекта для вашего собственного бизнеса.

Но, как показывает пример Amazon, простое добавление ИИ и машинного обучения к вашим рекрутинговым процессам не только устраняет предубеждения и дискриминацию. Фактически, при неосторожном применении он может взять нежелательные тенденции, заложенные в ваших рекрутинговых данных, и взорвать их до катастрофических размеров.

Вот почему вам нужно предпринять шаги для смягчения дискриминации ИИ сейчас, прежде чем применять эти инструменты найма.

Ниже мы объясним, как дискриминация ИИ может происходить с командами с лучшими намерениями, и дадим несколько советов, как подготовиться к тому, чтобы в вашей организации не происходила дискриминация ИИ.

Дискриминация искусственного интеллекта бывает двух видов

Прямая дискриминация ИИ

Согласно докладу Gartner « Контроль предвзятости и устранение слепых зон в машинном обучении и искусственном интеллекте », прямая дискриминация ИИ происходит, когда алгоритм принимает решения на основе чувствительных или защищенных атрибутов, таких как пол, раса или сексуальная ориентация (полное исследование доступно клиентам Gartner).

Используя пример Amazon, представьте, если бы они явно сказали своему инструменту ИИ, было ли каждое историческое резюме, которое они скармливали ему, было от мужчины или женщины. Затем ИИ узнает, что мужчины с большей вероятностью будут наняты на должности ИТ, и решает, что кандидаты-мужчины предпочтительнее.

Это пример прямой дискриминации AI. Его не только легко обнаружить, но также легко предотвратить: не давайте своему ИИ эту защищенную информацию и не учитывайте эти атрибуты при принятии решений о найме!

Краткое напоминание о защищенных атрибутах

Согласно EEOC , незаконно принимать решения о приеме на работу на основании следующего:
  • Возраст
  • Инвалидность
  • Гонка
  • Цвет
  • Пол (включая беременность, сексуальную ориентацию и гендерную идентичность)
  • Религия
  • национальное происхождение
  • Генетика

Косвенная дискриминация ИИ

Косвенная дискриминация, с другой стороны, является гораздо более распространенным и гораздо труднее предотвратить, потому что это происходит в качестве побочного продукта , не являющихся , чувствительных к атрибутам , которые происходят с сильно коррелируют с этими чувствительными атрибутами. Этот тип дискриминации ИИ случается даже с самыми благонамеренными рекрутерами.

Например, если ИИ определит, что более высокие кандидаты с большей вероятностью будут лучше выполнять свою роль, чем более низкие кандидаты. Довольно странно, но не злобно, правда? За исключением того, что женщины, как правило, в среднем ниже мужчин, это решение негативно отразится на кандидатах-женщинах.

Это сложная область для навигации, и она может поставить в тупик даже самых опытных специалистов по анализу данных. Хуже всего то, что вы не сможете обнаружить косвенную дискриминацию ИИ, не проведя большого тестирования. Вы должны изменить вес различных факторов, чтобы увидеть, превышает ли разница в результатах для одной группы по сравнению с остальными согласованный порог.

Все это говорит о том, что дискриминацию ИИ трудно смягчить, но это возможно. Давайте рассмотрим четыре вещи, которые вы можете сделать, чтобы дать ИИ, в который вы инвестируете, лучший шанс для получения впечатляющих и недискриминационных результатов.

4 вещи, которые вы можете сделать сегодня, чтобы уменьшить дискриминацию ИИ в будущем

Возможно, вы еще не приобрели программное обеспечение для набора персонала с поддержкой ИИ, но когда вы это сделаете, вам нужно быть готовым. Предоставление ИИ неверных данных или непонимание того, как он работает, почти гарантирует катастрофические результаты.

Вот четыре вещи, которые вам следует сделать, чтобы подготовиться:

1. Соберите и пометьте как можно больше исторических данных о рекрутинге.

Каждый малый бизнес, внедряющий ИИ, столкнется с суровой правдой: размер выборки имеет значение.

Если у вашего ИИ есть данные только о пяти предыдущих наймах на должность, с которой можно работать, вероятность предвзятости и отвлекающих факторов в ваших результатах высока. С другой стороны, если у вашего ИИ есть данные о 5000 предыдущих сотрудниках, с которыми можно работать, у вас гораздо больше шансов обнаружить значимые тенденции.

Крупные компании, которые нанимают много сотрудников, имеют здесь очевидное преимущество, но если вы небольшая организация, просто наберитесь терпения . И если вы еще не внедрили систему отслеживания кандидатов, которая поможет надежно разместить эти данные и обеспечить их согласованность, сделайте это сейчас.

2. Устраните факторы, влияющие на ваши данные.

Предвзятые данные порождают необъективные рекомендации ИИ. Действительно ли ваши рекрутинговые данные настолько нейтральны, как вы думаете?

Возьмем, к примеру, описание вашей должности. Исследования показали, что определенные слова и фразы могут повлиять на то, кто относится к вашим объявлениям о вакансиях. Мужчины, как правило, тяготеют к таким словам, как «рок-звезда» и «высший», в то время как пожилые работники воздерживаются, если в описании должности есть фраза, например, «перспективный».

Рассмотрите возможность инвестирования в инструмент описания должностных обязанностей или систему набора персонала с набором функций анализа должностных инструкций, чтобы обнаружить любой из этих предвзятых вариантов формулировок, которые могут повлиять на то, кто обращается в вашу компанию.

3. Изучите бесплатные инструменты с открытым исходным кодом, которые оценивают честность алгоритмов.

Помните, ранее я сказал, что вам нужно было определить, как взвешивание различных факторов в вашем алгоритме влияет на результаты конкретных групп для проверки на косвенную дискриминацию? Тогда помните, когда вы тяжело вздохнули, потому что не знаете, как это сделать?

К счастью, существуют бесплатные инструменты с открытым исходным кодом, которые помогают даже неспециалистам в области данных обнаруживать предубеждения в своих алгоритмах искусственного интеллекта. Найдите инструмент, который вам нравится, пройдите несколько руководств и начните знакомиться с тем, как вы можете проверить распознавание искусственного интеллекта, особенно если вы планируете создать алгоритм собственными силами.

Скриншот теста на честность ИИ, проведенного в IBM
Пример теста на честность ИИ, выполненного в IBM AI Fairness 360 ( Источник ).

У аналитика Gartner Digital Markets Лорен Маффео есть дополнительные советы по этой теме .

4. Попросите поставщиков ИИ открыть «черный ящик».

Проблема «черного ящика» в машинном обучении и ИИ связана с тем фактом, что из-за отсутствия прозрачности может быть невероятно сложно выяснить, как ИИ принял решение или пришел к определенному выводу.

Эта проблема усугубляется, когда вы, по сути, покупаете инструмент искусственного интеллекта с полки, потому что продавцы не хотят проливать свет на «секретный соус» в своей системе.

Все это говорит о том, что чем больше информации вы сможете почерпнуть о том, как на самом деле работает инструмент искусственного интеллекта поставщика, тем лучше вы будете подготовлены к решению проблем или внесению необходимых изменений в линию.

Не полагайтесь только на ИИ: станьте вербовочным кентавром

Как бы мы ни опасались захвата власти роботами, всегда остается надежда, что однажды искусственный интеллект и машинное обучение решат все наши проблемы с наймом и каждый раз будут принимать правильное решение о найме. К сожалению, доктор Стилианос Кампакис - специалист по данным и автор «Руководства по науке о данных для лиц, принимающих решения» - считает, что это вряд ли произойдет в ближайшее время.

«При приеме на работу существует множество факторов, влияющих на получение наилучшего найма, и довольно часто эти факторы могут не отражаться в чьем-либо [резюме]», - говорит Кампакис. «Предположение, что будет легко создать алгоритм для получения идеального сотрудника, - это выдавать желаемое за действительное».

Вот почему рекрутинг должен быть тем, что аналитик Gartner Дарин Стюарт называет « кентавром » - гибридом человека и ИИ, где каждая половина играет важную роль в процессе принятия решения о найме (полное исследование доступно клиентам Gartner). ИИ может дать рекомендацию, но последнее слово должен сделать человек. Вот как вы избегаете дискриминации ИИ.

Для получения дополнительной информации о предвзятости при приеме на работу и ИИ ознакомьтесь с этими дополнительными ресурсами:

Ищете программное обеспечение для управления талантами? Ознакомьтесь со списком лучших программных решений для управления талантами Platforms .