Жизнь«Он инвестирует. Она стирает вещи»: Как искусственный интеллект поддерживает стереотипы

Входные данные предопределяют нашу участь

В конце марта по соцсетям разлетелись посты с примерами сексистского перевода Google Translate: преподавательница Университета Эксетера Дора Варга поделилась результатами перевода с венгерского, в котором только одно местоимение третьего лица единственного числа, на английский. Нейтральные предложения превратились в стереотипные: готовить, стирать и растить ребёнка стала «она», а исследовать, заниматься политикой и зарабатывать — «он». Один из подписчиков попробовал перевести фразу «Она — инженер, он — красивый» с английского на венгерский и обратно — Google вернул ему противоположный изначальному вариант. Эксперимент повторили в издании «Утопия», сделав перевод с венгерского на русский, и тоже получили результаты, подкрепляющие стереотипы, причём как от Google Translate, так и от «Яндекс.Переводчика».

«Вот как повседневный сексизм стабильно кодируется в 2021 году», — заключила Варга. При этом в Google знают о проблеме машинного перевода, в начале 2020 года компания («опять», как заметили в издании Slator) «чинила» свой сервис, однако, очевидно, новые алгоритмы распространяются пока не на все языки. Кстати, при переводе на русский существуют и другие проблемы: в начале апреля активисты подписали открытое письмо к Google с требованием исправить перевод слов «homosexual» и «homosexuality», на которые сервис выдавал патологизирующие термины с суффиксами «-ист» и «-изм». На днях Google Translate исправил основной перевод (хотя устаревший термин всё же появляется как один из вариантов). В «Яндекс.Переводчике» тем временем «голубой» до сих пор существует как один из вариантов перевода слова «gay»: раздел предлагает примеры с фразами из старых телешоу.

В начале апреля активисты подписали открытое письмо к Google с требованием исправить перевод слов «homosexual» и «homosexuality», на которые сервис выдавал патологизирующие термины с суффиксами «-ист» и «-изм»

Предрассудки находят и у сервисов распознавания лиц. Так, опубликованное в прошлом году исследование показало, что на фотографиях мужчин ИИ Google, Amazon и Microsoft чаще отмечали профессионализм, а женщин — внешность. Исследовательница и активистка Джой Буоламвини тоже выявила необъективность алгоритмов, работая над проектом зеркала с дополненной реальностью: она заметила, что технология распознавания лиц плохо срабатывала на её чертах, однако всё работало исправно, стоило ей надеть белую маску. Буоламвини выяснила — о её исследованиях рассказывает документальный фильм 2020 года «Coded Bias», — что проблема заключалась в том, что алгоритм распознавания лиц обучался на ограниченной выборке изображений. Во входных данных для машинного обучения было подавляющее большинство фотографий людей со светлым тоном кожи (более 80 %) и мужчин (более 75 %). Поэтому технология ожидаемо с большей точностью распознавала лица белых мужчин. Стоит отметить, что после её исследований компании дополнили данные и результаты распознавания лиц женщин и небелых людей улучшились (компании также перестали предоставлять предвзятую технологию распознавания лиц правоохранительным органам).

Дискриминация проявляется и во многих других сферах. В прошлом году в Великобритании случился скандал из-за того, что алгоритм, анализировавший оценки учащихся для поступления в университеты (экзамены были отменены из-за пандемии COVID-19), выдал предвзятые в пользу более обеспеченных учащихся результаты. В 2019 году сооснователь Apple Стив Возняк заявил о дискриминации: его жене Дженет Хилл одобрили кредитный лимит по Apple Card (над ней работал банк Goldman Sachs) в десять раз меньше, чем ему, несмотря на то, что все счета у пары общие. Программист Дэвид Хейнемейер Ханссон, рассказавший о такой же проблеме, отметил, что делегирование решений «чёрной коробке» алгоритма, может, и не является намерением дискриминировать, но результат говорит сам за себя. А Кармен Нитхаммер, которая консультирует компании по вопросам инклюзии и разнообразия, в своей колонке для Forbes перечислила риски, которые предвзятости алгоритмов несут для женщин в сфере здравоохранения. Так, из-за нехватки данных о здоровье и организмах женщин приложения могут советовать им не торопиться к врачу, в то время как мужчин с такими же симптомами призовут немедленно обратиться за помощью.

Итак, на модели машинного обучения влияют массивы данных, которые те изучают. А эти данные, в свою очередь, отражают существующие в обществе предубеждения и стереотипы. Казалось бы, сам термин «искусственный интеллект» вызывает ассоциацию непредвзятости и объективности. Однако на деле он повторяет предрассудки, хоть порой и неосознанные, людей, которые над ним работают.

Coded gaze

«Наши идеи о технологиях и обществе, которые мы считаем „нормальными“, на самом деле являются идеями, которые идут от очень небольшой и гомогенной группы людей», — говорит в фильме «Coded Bias» Мередит Бруссар, написавшая книгу «Artificial Unintelligence». Она имеет в виду учёных, которые начали первые исследования в области искусственного интеллекта в 1956 году, — математиков Дартмутского университета. Однако фильм сопровождает её слова кадрами руководителей главных технологических компаний, от Марка Цукерберга до Билла Гейтса и Джеффа Безоса, визуально намекая, что ситуация мало изменилась. Футуролог Эми Уэбб добавляет, что больше всего на развитие ИИ влияют всего девять компаний, шесть из которых находятся в США, а три — в Китае. Доля женщин, работающих над искусственным интеллектом, составляет меньше 25 %, по данным Всемирного экономического форума. Доля людей разного этнического происхождения в технологических компаниях составляет считаные проценты. Учитывая эту статистику, неудивительно, что ИИ показывает искажённую картину мира. Исследовательская компания Gartner в 2018 году прогнозировала, что «к 2022 году 85 % проектов ИИ будут давать ошибочные результаты из-за предвзятости данных, алгоритмов или команд, работающих над ними».

Джой Буоламвини использует ёмкий термин для предубеждений в алгоритмах, которые закрепляют неравенство, — «coded gaze» по аналогии с «male gaze» Лоры Малви. «Прошлое живёт в наших алгоритмах. Оно показывает нам неравенство, которое существовало всегда», — говорит исследовательница и основательница «Лиги алгоритмической справедливости» (Algorithmic Justice League). В ООН также замечают, что над ИИ чаще работают западные специалисты, а исследователи изучают проблему «цифрового ориентализма».

Поскольку проблема кроется в данных для машинного обучения, важно эти данные курировать и следить за возможными проявлениями предвзятости, считают учёные. На портале Open Global Rights подчёркивают, что стандарты, связанные с ИИ и автоматизацией, должны включать гендерную перспективу комплексно, а не рассматривать её просто как проблему предвзятости — включать в себя интерсекциональный подход к вопросу. Более того, ИИ, по мнению экспертов, обязан бороться с дискриминацией и патриархальными социальными установками и не транслировать колониальный взгляд на мир.

Тем временем в Кремниевой долине

Казалось бы, очевидным первым шагом к исправлению ситуации было бы привлечение большего количества женщин и людей разного этнического происхождения к работе над искусственным интеллектом. Как отмечает Кармен Нитхаммер, технологические компании чаще «теряют» своих работниц, женщины реже вырастают до руководящих позиций. Это подтверждает общая статистика в сфере STEM (наука, технологии, инженерия и математика): в ней работают примерно 25 % женщин, но только 9 % занимают лидерские позиции, по данным Boston Consulting Group. Громкие новости из Кремниевой долины показывают, что компаниям есть над чем работать, чтобы быть более привлекательными для женщин.

В прошлом году Pinterest выплатил самую большую в истории США компенсацию за гендерную дискриминацию из-за увольнения бывшего исполнительного директора компании Франсуазы Бруер. В то же самое время сотрудницы компании Ифеома Озома (благодаря ей сервис начал блокировать посты о вреде вакцинации и прекратил продвижение свадеб на плантациях) и Аэрика Шимизу Бэнкс заявили о расовой дискриминации и ушли из Pinterest. При этом Озома и Шимизу Бэнкс нарушили условия своих договоров о неразглашении информации (а именно оговорок о критике в адрес компании) — позднее они разработали законопроект об отмене таких пунктов в договорах в связи с расовой дискриминацией. Сейчас активисты занимаются вопросом оговорок о критике компании в договорах о неразглашении информации: по их мнению, такие пункты зачастую необоснованны и призваны заставить пострадавших замолчать.

В начале апреля программистка Эми Нитфилд написала большую колонку для The New York Times о своём опыте работы в Google. По её словам, сначала компания создала для неё ощущение «семьи», однако, когда она заявила о харассменте со стороны коллеги, всё изменилось, во время расследования ей приходилось продолжать с ним работать. После, когда внутреннее расследование подтвердило, что он нарушил кодекс поведения, его даже не пересадили. Это повлияло на психическое здоровье специалистки, а впоследствии и на оценку её работы в компании. В итоге Нитфилд ушла из Google и пообещала себе больше эмоционально не привязываться к месту работы.

Сначала компания Google создала для программистки ощущение «семьи», но, когда она заявила о харассменте со стороны коллеги, всё изменилось, во время расследования ей приходилось продолжать с ним работать

Пожалуй, самый громкий скандал именно в области ИИ случился в конце 2020 года, когда исследовательница этики искусственного интеллекта Тимнит Гебру рассказала об увольнении из Google. Ему предшествовало исследование, которое выявило, что ИИ компании склонен воспроизводить предвзятый язык в отношении тем гендера и этничности, который находит в интернете. В Google, по её словам, сотрудницу попросили отозвать исследование или убрать из него своё имя. Как рассказала Гебру, тогда ей не объяснили, каким образом оценивали работу и её результаты. После того, как она пожаловалась коллегам на обесценивание её работы, исследовательницу, по сути, уволили. После этого Тимнит Гебру рассказала о попытках дискредитировать её работу и травле. Сейчас она и её коллеги пишут о том, как Джефф Дин, старший научный сотрудник в команде Google AI, выпустил исследование, не указав должных источников (в том числе её исследования), хотя критиковал работу Гебру за это.

Гебру и её коллеги — исследовательницы в области этики ИИ рассказали, что их работу часто критикуют за отсутствие предложений, как решить существующие в алгоритмах проблемы (хотя они предлагают стратегии в своих публикациях), однако первостепенным для них является осознание проблем в сфере, которая создаёт видимость объективности. Описывая конфликт Тимнит Гебру и её коллег с Google, в Bloomberg задались вопросом, «можно ли доверять технологическим компаниям саморегулировать свои алгоритмы и продукты, чтобы избежать непреднамеренных или игнорируемых последствий».

Очевидно, что искусственный интеллект способен принести большую пользу обществу. Сейчас алгоритмы используют для отслеживания распространения пандемии COVID-19 по всему миру, ИИ также может помочь в борьбе с климатическим кризисом. Однако инновации внедряются так быстро, что люди порой не успевают исследовать их недостатки или не замечают предрассудки, которые закладывают в технологии из-за того, что работающие над ними команды всё ещё очень гомогенны, а информация недостаточно обрабатывается. В ЮНЕСКО призывают не только работать с качественными входными данными и обеспечивать разнообразие в командах людей, работающих над ИИ, но и устанавливать чёткие этические стандарты на международном уровне, чтобы избежать «алгоритмического угнетения».

Может показаться, что люди не сильно могут повлиять на технологии, которыми пользуются (разве что указывать онлайн-переводчикам на некорректные варианты и отказываться от предложений текстовых редакторов исправить феминитивы). Но, возможно, первым шагом станет осознание того, что технологии, кажущиеся нам объективными, на самом деле склонны к предрассудкам и способны влиять на нашу жизнь ещё сильнее, чем мы осознаём. А затем важно требовать от компаний соблюдения этических стандартов.

ФОТОГРАФИИ: Login — stock.adobe.com (1, 2)