или Как технологии дискриминируют мусульман во Франции

В условиях стремительного внедрения искусственного интеллекта во все сферы жизни особую обеспокоенность вызывает вопрос: действительно ли алгоритмы нейтральны? Или же они, подчиняясь логике «больших данных», лишь отражают и закрепляют социальные предубеждения, уже существующие в обществе?

Во Франции, где официальная риторика настаивает на беспристрастности цифровых систем, реальность выглядит куда менее обнадеживающей. Один из тех, кто открыто поднимает эту проблему, - Жан-Мишель Брюн, главный редактор французского информационного портала Musulmans en France. Опираясь на свои исследования, он называет алгоритмы новой формой старой дискриминации.
В интервью нашему  корреспонденту Жан-Мишель Брюн обращает внимание на тревожные процессы, связанные с ростом цифрового неравенства, которое все чаще затрагивает мусульманские сообщества.

- Месье Брюн, вы один из первых журналистов во Франции, кто открыто заговорил о роли алгоритмов в усилении дискриминации. Сегодня, когда ИИ проникает во все сферы жизни, в чем вы видите наибольшую опасность для французских мусульман?
- Опасность прежде всего в том, что дискриминация становится незаметной, но системной. Алгоритмы, которые мы привыкли считать нейтральными, на деле лишь воспроизводят и масштабируют предвзятость, заложенную в исходных данных. Это особенно тревожно в отношении мусульман во Франции, которые и без того сталкиваются с институциональной дискриминацией.
Искусственный интеллект не является изолированной, нейтральной, стоящей вне общества. Напротив - он впитывает в себя нормы, предрассудки и социальные искажения, которые доминируют в окружающей среде, и, перерабатывая их, воспроизводит в цифровой форме. Там, где культура пронизана страхами, стереотипами и избирательной строгостью, алгоритм становится их зеркалом, точнее - их усилителем, создающим математически выверенную, но глубоко предвзятую реальность. Во Франции, где ислам в публичной риторике часто ассоциируется с угрозой, а мусульманин - с подозрением, искусственный интеллект, обученный на этих данных, начинает механически воспроизводить и закреплять такие архетипы.
Наиболее драматичным последствием этого процесса становится автоматизация недоверия. Когда программный код, казалось бы, лишенный эмоций и субъективности, начинает системно исключать людей из доступа к правам, услугам и возможностям лишь на основании их имени, внешности или места жительства, мы имеем дело не с ошибкой, а с новой формой институционального насилия. Технология в таком случае становится не инструментом прогресса, а механизмом дискриминации - хладнокровным, эффективным, масштабируемым.
Под видом инноваций происходит цифровая легализация предрассудков. Это не просто этический сбой, а стратегический вызов для демократии: сохранит ли она свою суть в эпоху, когда машина, а значит, и государство, и рынок перестают быть нейтральными и начинают «кодировать» чужих как нежелательных? На этот вопрос, думаю, мы ответим в скором времени.
- Многие говорят, что искусственный интеллект можно «починить», если добавить больше разнообразия в данные. Насколько вероятно техническое решение этой проблемы?
- Добавление разнообразия - это как залатать пробоину в корабле, забыв, что сам корпус давно сгнил. Технические решения, безусловно, необходимы: корректировка баз данных, аудит алгоритмов, внедрение регулирования по этическим критериям. Однако все это подобно косметике на трещинах, которые идут от фундамента. Они не затрагивают сути - отсутствия политической воли признать, что дискриминация в цифровом пространстве, как и в обществе в целом, - это баг (жаргонное слово в программировании, обычно обозначающее ошибку в программе - ред.), возведенный в статус фичи («особенность» или «функция» в контексте программного обеспечения, гаджетов или продуктов, выступающая не как сбой кода, а отражение системного выбора - ред.).
Когда французское государство отказывается признавать исламофобию как реальную проблему, когда министры позволяют себе публичные заявления, от которых веет ксенофобией, никакая «чистка данных» не спасет. Мы живем в стране, где принцип светской нейтральности все чаще используется как орудие исключения, особенно в отношении видимого мусульманства, где хиджаб становится не просто символом веры, а причиной стигмы.
Если сама нормативная рамка не будет пересмотрена, если государство не признает, что нейтралитет - это не то же самое, что слепота к неравенству, - никакая модернизация искусственного интеллекта не приведет к справедливости. Какой бы «этичной» ни была архитектура ИИ, она все равно будет воспроизводить ту же логику: логику исключения, подозрения, системного контроля. Без пересмотра политических ориентиров ИИ так и останется не инструментом освобождения, а цифровым стражем несправедливости.
- Ваша платформа активно отслеживает алгоритмические ошибки. Расскажите о самом тревожном кейсе, с которым вы столкнулись.
- Были десятки случаев, но, пожалуй, один из самых наглядных и тревожных - история с системой автоматического отсеивания резюме в одной из крупнейших розничных сетей Франции. Мы провели полномасштабное собственное расследование. Сотни идентичных CV, отличающихся лишь именами. Абсолютно одинаковый опыт, образование, навыки. Различие заключается только в том, как звучит имя.
Результаты шокировали: резюме от Mohamed или Khadija получали в два, а иногда и в три раза меньше откликов, чем те же самые CV от Julien, Thomas или Chloé. Алгоритм, обученный на исторических данных, «научился» одному: мусульманские имена не ведут к трудоустройству. Он не анализировал компетенции, не взвешивал опыт, а просто репродуцировал многолетние предвзятости, закодированные в статистике прошлого.
Что особенно мрачно - руководство компании уверяло, что внедрило ИИ именно для того, чтобы «исключить человеческий фактор» и повысить объективность при найме. Но, спрятавшись за фасадом технологического прогресса, цифровой фильтр превратился в невидимый барьер. Он не только не избавился от дискриминации, а институционализировал ее, сделав системной, но при этом лишенной человеческой ответственности.
Мы направили доклад в CNIL - Национальную комиссию по информационным технологиям и свободам. Расследование продолжается. Но главный вопрос остается открытым: сколько еще таких алгоритмов работают сегодня в тени, вне общественного контроля, закрытые для аудита, но ежедневно влияющие на судьбы тысяч людей?
Под маской «нейтрального кода» скрывается предвзятый прошлым мир, переписанный в формулировках машинного обучения. Нам предстоит не просто модернизация технологий, нам нужна этическая трансформация самой цифровой архитектуры, в которой нейтральность означает не отсутствие эмоций, а отсутствие справедливости.
- Сегодня мусульманские общины Франции живут с ощущением перманентной слежки. Где, по-вашему, проходит грань между обеспечением безопасности и технологической сегрегацией?
- Вопрос сегодня не столько в технологии, сколько в наблюдателе. Кто наблюдает, кого - и на каком основании? Именно здесь начинается подмена понятий: превенция превращается в подозрение, а безопасность - в инструмент культурного кодирования. Когда камеры с распознаванием лиц устанавливаются не случайно, а прицельно - например, у входов в мечети или в кварталах с преобладанием мигрантов; когда алгоритмы оценивают «степень риска» по месту жительства, цвету кожи, одежде или визуальным признакам религиозности - речь идет уже не о борьбе с преступностью. Это борьба с образом, идентичностью, любым отличием от того, что объявлено «нормой».
Представьте себе женщину, выходящую из метро в хиджабе. Она еще не сделала ни шага, но уже - «объект интереса». Не потому, что совершила что-то подозрительное, а потому, что выглядит иначе. Для системы этого достаточно. В этот момент грань между личным и публичным, между свободой и контролем стирается. Женщина не просто идет по улице, она уже под подозрением. Ее повседневность превращается в цифровое досье. И это не охрана порядка, а алгоритмическое производство неравенства. Не защита, а архитектура недоверия, где внешность становится политическим аргументом. Так формируется новая иерархия гражданства: не по закону, а по визуальному профилю. Право быть «как все» уступает место обязанности быть «не замеченным». Но безопасность, построенная на предвзятости, лишь усиливает страх и отчуждение, делая общество более хрупким, а не более защищенным. И в этой новой реальности, где камера становится судьей, важно задать один главный вопрос: а кто будет наблюдать за теми, кто наблюдает?
- Что может и должно измениться? Кто способен остановить алгоритмический накат? И, вообще, есть ли в этой истории место для оптимизма?
- Оптимизм не может быть архитектурой институтов, т.к. это пульс живых сердец. Сегодня он живет в тех, кто не боится действовать: в судах, где дискриминационные решения могут быть оспорены; в гражданских инициативах, где мусульманские сообщества и их союзники объединяются, чтобы требовать справедливого и этически ответственного искусственного интеллекта; в журналистике, которая не молчит, а разоблачает изъяны систем и ставит под вопрос табуированное.
На уровне европейского законодательства уже предпринимаются шаги: появляются рамки регулирования ИИ как технологии «высокого риска». Это значимо. Но именно здесь скрыта угроза: Франция упорно лоббирует исключения якобы во имя «национальной безопасности», подменяя безопасность политической выгодой. И в этот момент особенно важно не ослаблять внимание. Потому что технологии - это не нейтральный инструмент. Они либо усиливают несправедливость, либо становятся ее антагонистом. Все зависит от нас.
Нас не спасет ни чудо, ни автоматизация надежды. Нас спасет только настойчивость. Не покорность, а системное сопротивление. Мы обязаны стучать во все двери и требовать аудита алгоритмов, открытости исходного кода, инклюзивности экспертных комитетов, и главное настаивать на том, чтобы у технологий было человеческое лицо, в котором отражаются наши ценности.
Если алгоритмы - это зеркало общества, то бороться нужно не с отражением, а с той реальностью, которая в нем застывает. Только благодаря ее образованности, гражданскому участию и моральному мужеству мы сможем изменить и сам вектор технологического развития.