Что там у нас было про ИИ такого, чего никто не мог ожидать? А, Вот: созданный компанией Microsoft самообучающийся твиттер-бот с искусственным интеллектом менее через сутки после запуска научился ругаться и отпускать расистские замечания. И еще: чат-боты, которые были созданы Фейсбук для переговоров с людьми, вышли из-под управления и начали общаться на собственном языке.
И вот очередное очеловечивание искусственного интеллекта, который вообще то по задумке должен быть "выше всего этого".
Специалисты по машинному обучению Amazon обнаружили, что искусственный интеллект, который обрабатывает резюме кандидатов на должности в компании, дискриминирует женщин-соискателей. Эта особенность не закладывалась в систему умышленно — она явилась результатом машинного обучения.
Механизм сортировки резюме на базе искусственного интеллекта разрабатывается в Amazon с 2014 г. группой из 12 специалистов в Эдинбурге. Уже в 2015 г. в компании заметили, что новая система не придерживается принципа гендерной нейтральности при оценке кандидатов на должности разработчиков ПО и другие технические вакансии.
Вскоре они поняли причину: дело в том, что система проходила обучение на резюме, поступивших в компанию за последние 10 лет. Большая часть этих резюме принадлежала мужчинам, что в целом отражает положение дел в ИТ-отрасли. В результате искусственный интеллект Amazon усвоил, что соискатели-мужчины более предпочтительны, чем женщины.
Лингвистическая отбраковка
В итоге искусственный интеллект начал отбраковывать резюме, содержавшие слово «женский» в таких, например, выражениях как «капитан женского шахматного клуба». Механизм также снижал оценки выпускницам двух женских колледжей, но источники Reuters не уточняют их названия. Оценивая резюме, искусственный интеллект присваивал им от одной до пяти звезд — очень похоже на то, как покупатели оценивают товары на сайте Amazon.
Система обращала внимание и на другие слова. Разработчики создали 500 компьютерных моделей для разных должностных обязанностей и географических локаций. Каждая модель была обучена распознавать около 50 тыс. слов-сигналов, которые присутствовали в резюме соискателей.
Примечательно, что механизм игнорировал слова, обозначающие навыки, которые часто прописаны в резюме ИТ-специалистов, такие как умение писать различные коды и т. п. Вместо этого система отслеживала, например, типичные для мужской речи глаголы в самоописании кандидатов, вроде «выполнил» (executed) или «захватил» (captured), поскольку они регулярно встречались в старых резюме, на которых училась машина. С таким подходом гендерная дискриминация была не единственной проблемой — механизм зачастую рекомендовал на должность людей, не обладающих нужными навыками.
Дальнейшая судьба проекта
Amazon скорректировала работу системы таким образом, чтобы она больше не реагировала на слова-сигналы. Однако это не было гарантией, что механизм не найдет другого способа определять резюме, принадлежащие женщинам. К началу 2017 г. компания разочаровалась в проекте и распустила команду. Источники Reuters утверждают, что специалисты по кадрам принимали во внимание рекомендации системы, но никогда не полагались на них исключительно.
Один из источников сообщает, что проект закрыт. Другой утверждает, что в Эдинбурге была сформирована новая команда, чтобы продолжить разработку механизма, но на этот раз с уклоном в равноправие и инклюзивность. Еще один источник сообщает, что сильно видоизмененная версия механизма сейчас используется для выполнения рутинной работы — например, для удаления повторяющихся резюме из базы данных.
Свежие комментарии