Содержание
- Смещение красоты AI
- Гендерный уклон в языках
- 2. Гендерная и возрастная дискриминация на рабочих местах
- Ошибка распознавания лица
- Смещение рецидивизма
вынос:
В последние годы ИИ все шире применяется и применяется ко всему: от оценки красоты до оценки риска рецидивизма. При этом он также поддержал стандарты, которые поддерживают предвзятость и дискриминацию в нескольких случаях.
Прогресс технологий способен по-настоящему демократизировать доступ к информации и возможностям. Однако, когда в некоторых случаях он используется таким образом, чтобы укрепить представление о том, что в нашем обществе одни люди более равны, чем другие.
Это то, что мы видели из следующих семи случаев, в которых искусственный интеллект (ИИ) преднамеренно используется для исключения определенных категорий или в котором он просто отражает предвзятость, заложенную его программистами-людьми, с дискриминационным эффектом.
Смещение красоты AI
Красота может быть в глазах смотрящего, но когда этот субъективный взгляд может программировать ИИ, вы получаете предвзятость в программе. Рэйчел Томас сообщила об одном таком эпизоде в конкурсе красоты от beauty.ai в 2016 году. Результаты показали, что светлые лица были оценены более привлекательными, чем темные.
В следующем году «FaceApp, который использует нейронные сети для создания фильтров для фотографий, создал« фильтр жары », который осветил кожу людей и дал им больше европейских функций».
Гендерный уклон в языках
Томас также приводит документальный пример переводов, которые переносят стереотипные ожидания карьерного роста. Отправной точкой являются два предложения: «Она врач. Он медсестра».
Если вы затем переведете их на турецкий и обратно на английский, вы получите результаты, которые вы могли бы ожидать от телефонной игры.
Вместо того, чтобы получить то, с чего вы начали, вы получите ожидание 1950-х годов: «Он врач. Она медсестра». Она объясняет, что это происходит из-за нейтрального по отношению к полу местоимения в турецком языке, который будет назначать пол на основе ожиданий и стереотипных предубеждений. (Прочтите «Женщины в искусственном интеллекте: усиление сексизма и стереотипов с помощью технологий».)
Хотя расовые и гендерные предрассудки, фильтрующие изображения и язык, являются причиной для досады, они не совсем то же самое, что активная дискриминация в результате ИИ, но это также произошло.
Его доказательством был скриншот ограничений, наложенных на рекламу в своей категории жилья, которая позволяла сузить аудиторию, отметив исключения из таких категорий, как афроамериканцы, азиатские американцы или латиноамериканцы. Объявление можно посмотреть здесь.
Как отмечает ProPublica, дискриминационный эффект такой рекламы является незаконным как в соответствии с Законом о справедливом жилье 1968 года, так и Законом о гражданских правах 1964 года. Единственной защитой в этом случае было то, что объявление было не для самого жилья, как оно было T о собственности или дома для продажи или аренды.
Тем не менее, были и другие случаи нацеливания, которые указывают на расовые предрассудки и побуждали различные организации подавать гражданские иски против социальной сети. Как сообщал Wired, наконец-то было решено скорректировать свою технологию таргетирования рекламы в результате урегулирования пяти судебных дел, которые обвинили его в том, что он допустил дискриминацию меньшинств посредством рекламы в марте 2019 года.
В своем отчете об урегулировании ACLU указал, насколько коварными могут быть такие целевые рекламные объявления, поскольку меньшинства и женщины могут даже не осознавать, что им не предоставляется такой же доступ к информации, жилью и возможностям трудоустройства, которыми делятся белые мужчины.
По мере того, как все больше людей обращаются к Интернету в поисках работы, квартир и кредитов, существует реальный риск того, что таргетинг рекламы будет повторять и даже усугублять существующие расовые и гендерные предрассудки в обществе. Представьте, что работодатель выбирает показ объявлений для инженерных работ только мужчинам - не только пользователи, которые не идентифицированы как мужчины, никогда не увидят эти объявления, они также никогда не узнают, что они пропустили.
В конце концов, у нас редко есть способ идентифицировать рекламу, которую мы не видим в Интернете. То, что эта дискриминация невидима для исключенного пользователя, делает его еще более трудным для остановки.
2. Гендерная и возрастная дискриминация на рабочих местах
Среди судебных дел была незаконная дискриминация в жилье, которое допускалось нацеливание. В своем отчете об урегулировании ProPublica заявила, что она проверила платформу и преуспела в покупке «объявлений о жилье», исключая такие группы, как афроамериканцы и евреи, и ранее она нашла объявления о работе, исключая пользователей по возрасту и полу, размещенные компаниями. это домашние имена ».
Ряд объявлений о работе, которые обнаружил ACLU, были явно направлены только на мужчин определенного возрастного диапазона, поскольку пользователи могли найти ответ на вопрос о том, почему им показывали именно это объявление, которые были показаны в другой статье Wired. ACLU подал в суд на Комиссию по равным возможностям в сфере занятости против социальной сети и компаний, разместивших рекламу на том основании, что они нарушали как законы о труде, так и законы о гражданских правах.
Дискриминация при приеме на работу лиц старше 40 лет является нарушением федерального закона о дискриминации по возрасту при приеме на работу (ADEA). Но ориентация на объявления о вакансиях только для людей младше этого возраста - это одна из возможностей платформы.
ProPublica сделала акцент в одном из своих отчетов, в котором раскрыто, какие объявления о вакансиях основаны на этой незаконной форме исключения по возрасту. «Домашние имена» включают Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Фонд общественных интересов, Goldman Sach, OpenWorks и себя, а также других.
Ошибка распознавания лица
«Точное распознавание лица, если вы белый парень» объявил заголовок статьи в «Нью-Йорк Таймс», опубликованной в феврале 2018 года. В ней приводились результаты, в которых была обнаружена четкая корреляция между тоном кожи и неправильной идентификацией:
«Чем темнее кожа, тем больше ошибок - до 35% для изображений темнокожих женщин, согласно новому исследованию, которое открывает новые горизонты, измеряя, как технология работает на людях разных рас и полов».
Результаты приписываются Джой Буоламвини, исследователю из MIT Media Lab и основателю Лиги алгоритмического правосудия (AJL). Ее область исследований - это предубеждения, которые лежат в основе ИИ, что приводит к таким искаженным результатам, когда дело доходит до распознавания лиц, которые не соответствуют белой мужской норме, установленной для модели.
Буоламвини представила проблему расовой и гендерной предвзятости для распознавания лиц в выступлении на TED в 2017 году, которое она упомянула в начале 2018 года в видео о проекте «Гендерные оттенки» из лаборатории MIT:
<
В описании видео сказано, что необъективное смещение ИИ "нанесет урон эпохе автоматизации и еще больше усугубит неравенство, если его не усугубить". Риски - это не что иное, как «потеря преимуществ, достигнутых движением за гражданские права и женским движением из-за ложного предположения о нейтралитете машин».
В описании видео добавлено предупреждение, на которое уже указали многие другие, как мы видели в книге «Женщины в искусственном интеллекте: усиление сексизма и стереотипов с помощью технологий»: «Автоматизированные системы не являются по своей сути нейтральными. Они отражают приоритеты, предпочтения и предрассудки - закодированные взгляд тех, кто обладает способностью формировать искусственный интеллект ".
25 января 2019 года Буоламнивини опубликовала публикацию Medium, в которой были использованы ее собственные исследования и исследования других исследователей, которые указывают, как недостатки AI приводят к ошибкам в Rekognition Amazon, и требовали, чтобы компания прекратила продажу службы AI в полицейские управления.
В то время как Rekognition может похвастаться 100% точностью для распознавания светлокожих мужчин и 98,7% точностью даже для более темных мужчин, когда речь идет о женщине, точность упала до 92,9% для более легких женщин. Еще более ярким было резкое падение точности до 68,6% для темных женщин.
Но Амазон отказался смягчиться. В статье Venture Beat цитировалось заявление доктора Мэтта Вуда, генерального менеджера по глубокому обучению и искусственному интеллекту в AWS, в котором он настаивал на том, что выводы исследователей не отражают, как на самом деле используется искусственный интеллект, объясняя:
«Анализ лица и распознавание лица совершенно различны с точки зрения базовой технологии и данных, используемых для их обучения. Пытаться использовать анализ лица для оценки точности распознавания лиц нецелесообразно, так как он не предназначен для этой цели ».
Но не только те, кто связан с крупными исследовательскими центрами, считают алгоритмы очень проблематичными. Согласно отчету Gizmodo, ACLU провел собственный тест по разумной цене 12,33 доллара. Было установлено, что Rekognition подобрал 28 членов Конгресса с фотографиями преступников.
«Ложные опознания были сделаны, когда ACLU Северной Калифорнии поставил перед Rekognition соответствующие фотографии всех 535 членов Конгресса против 25 000 общедоступных фотографий».
Поскольку 11 из 28 были цветными людьми, это отражало значительный уровень ошибок в 39% для них. В отличие от уровня ошибок в целом был более приемлемым 5%. Шесть членов Черного собрания Конгресса, которые были среди тех, кто Rekognition связан с фотографиями, выразили свою обеспокоенность в открытом письме генеральному директору Amazon.
Смещение рецидивизма
Предвзятость, присущая искусственному интеллекту против цветных людей, становится более серьезной проблемой, когда она означает нечто большее, чем просто ошибка в идентификации. Это стало результатом другого расследования ProPublica в 2016 году. Последствия такого смещения - не что иное, как индивидуальная свобода в сочетании с игнорированием реального риска для человека, чей цвет кожи предпочитается алгоритмом.
В статье упоминалось о двух параллельных делах, связанных с одним белым преступником и одним черным. Алгоритм использовался, чтобы предсказать, какой из них может снова нарушить закон. Черный получил высокий риск, а белый - низкий.
Предсказание сделало его полностью неверным, и белый, который вышел на свободу, должен был быть снова заключен в тюрьму. Это крайне проблематично, потому что суды полагаются на оценку при принятии решения об условно-досрочном освобождении, а это означает, что расовая предвзятость, учтенная в программе, означает неравное обращение в соответствии с законом.
ProPublica проверила алгоритм на собственном тесте, сравнив оценки риска более 7000 человек, арестованных в округе Бровард, штат Флорида, в 2013 и 2014 годах, с числом, за которое им были предъявлены новые уголовные обвинения в последующие два года.
Они обнаружили, что лишь 20% предсказаний о повторяющихся преступлениях насильственного характера осуществились, и более мелкие преступления произошли только у 61% из тех, у кого оценки риска.
Настоящая проблема не только в отсутствии точности, но и в расовом предрассудке:
- Формула, скорее всего, ложно помечала чернокожих обвиняемых как будущих преступников, ошибочно маркируя их таким образом почти вдвое чаще, чем белых обвиняемых.
- Белые обвиняемые были ошибочно помечены как лица с низким риском чаще, чем черные обвиняемые.
По сути, это привело к 45% ошибок для чернокожих и 24% для белых. Несмотря на эту явную статистику, Томас сообщил, что Верховный суд штата Висконсин все еще поддерживает использование этого алгоритма. Она также подробно описывает другие проблемы, связанные с алгоритмами рецидивизма.