В 2014 году я ушла из крупной западной компании. Уверенная, опытная, востребованная – я считала, что рынок труда сам найдет меня. Прошел месяц – тишина. Два – редкие отклики. Три – я уже не просто искала работу, я пыталась понять: что в моем профиле не так? Я переделывала резюме раз за разом, но в ответ получала сухие уведомления и ни одного живого объяснения. Тогда я не знала, что отказы были результатом автоматической фильтрации. Система искала ключевые слова, которые я неудачно сформулировала. Или мое резюме даже не дошло до рекрутера, потому что скрипт «решил», что я не подхожу. Я чувствовала себя не просто безработной, я чувствовала себя невидимкой.
Этот опыт заставил меня задуматься: как часто алгоритмы принимают решения за людей, когда непонятно, по каким правилам они работают? В этой статье хочу поделиться ключевыми выводами, которые важны для каждого, кто управляет бизнесом, строит карьеру или просто хочет сохранить контроль над своей жизнью в цифровую эпоху.
Почему нейтральность алгоритмов – это миф
Существует устойчивая иллюзия: алгоритм – это математика, а математика нейтральна. Дважды два = четыре, точка. Но если алгоритм ошибается, пользователи склонны винить не его, а данные: «недостаточно качественно обучили», «выборка была неполной». Или, что еще удобнее, «человек что-то не так сделал». Это очень коварный миф, потому что позволяет перекладывать ответственность на «объективность» кода, хотя код – это всего лишь увеличительное стекло, которое делает видимыми человеческие трещины.
Как работает машинное обучение? Роботу дают тысячи, миллионы примеров: кто получил кредит, а кому отказали; кого наняли, а кого нет; кто совершал преступления, а кто был оправдан. Алгоритм ищет закономерности: какие признаки чаще сопровождают положительный исход, и примеряет эти закономерности к каждому новому человеку.
Все было бы хорошо, если бы «исторические данные», на которых учится алгоритм, не были пропитаны человеческими слабостями. Представьте, что вы даете ребенку учебник истории, написанный в стране, где десятилетиями угнетали женщин и меньшинства. И просите его предсказать будущее. Что он предскажет? То же, что было в учебнике: что женщины – слабые, что люди с темной кожей – опасны, что бедные – ленивы. Он просто воспроизведет прошлое.
Алгоритм – это дитя, которое не знает сомнений, потому что не видит контекста. Он берет то, что ему дали, и находит в этом самую надежную, с точки зрения статистики, корреляцию. И если в прошлом банки чаще отказывали женщинам в кредитах – не потому, что они хуже платят, а потому что в определенный период у них был перерыв в карьере, связанный с детьми, то алгоритм «увидит»: женщины – риск. И начнет отказывать им снова, даже если они сейчас работают и имеют высокий доход. Он просто будет повторять старую несправедливость, но уже с математической безупречностью.
Примеры алгоритмической несправедливости
Когда я рассказываю о том, что алгоритмы бывают необъективными, я часто слышу: «Ну, это же просто теория. В реальной жизни такого не происходит». Тогда я привожу факты.
- Женщина, которую не взяли в Amazon. В середине 2010-х годов в компании разработали систему для автоматического отбора резюме. Идея казалась прогрессивной: машина будет просеивать тысячи заявок, находить лучших кандидатов, экономить время рекрутеров. Но уже через год разработчики с ужасом обнаружили, что система систематически дисквалифицирует резюме, содержащие слово «женский». Она понижала рейтинг выпускниц женских колледжей, резюме с упоминанием «женского шахматного клуба» или даже слова «женщина». Почему? Потому что алгоритм обучали на исторических данных – на резюме кандидатов, которых нанимали в прошлом. В Amazon, как и во многих IT-гигантах, в технических должностях доминировали мужчины. Машина «решила», что мужчина – это и есть успешный кандидат. Amazon в итоге закрыл проект. Но подобные системы фильтрации резюме используются во многих компаниях – и сколько женщин, людей другой национальности, пожилых соискателей были отсеяны, даже не зная, что против них сыграл их же прошлый опыт?
- Банк, который доверился алгоритму. В финансовом секторе одними из первых передали полномочия машинам. Кредитный скоринг оценивает платежеспособность по сотне параметров: доход, стаж, возраст, семейное положение, адрес. Исследования показывают, что алгоритмические модели кредитного скоринга могут воспроизводить и даже усиливать историческую дискриминацию. Если в прошлом определенным группам людей реже давали кредиты (по расовым, гендерным или географическим признакам), алгоритм «увидит» эти группы как более рискованные и продолжит отказывать им. Именно поэтому в Законе об искусственном интеллекте (AI Act) системы кредитного скоринга приравниваются к категории высокого риска, а разработчики обязаны проводить тестирование на предвзятость, обеспечивать человеческий контроль и давать объяснения по каждому отказу.
- Лицо, которое не узнали. Системы распознавания лиц обещают безопасность и удобство. Но есть одна неприятная особенность: они гораздо хуже справляются с распознаванием людей с темной кожей, особенно женщин. В 2018 году проект Gender Shades под руководством исследовательницы Джой Буоламвини вскрыл шокирующий разрыв: коммерческие системы распознавания лиц ошибались в определении пола у темнокожих женщин более чем в одном случае из трех. Для светлокожих мужчин ошибка составляла 0%. Согласно недавним исследованиям, ошибки гендерной классификации для темнокожих женщин по-прежнему достигают 34,7% по сравнению с 0,8% для светлокожих мужчин. Исследование Университета Пенсильвании 2025 года подтвердило, что в реальных условиях (при плохом освещении, размытости или изменении ракурса) качество распознавания падает, и это падение неравномерно распределено по демографическим группам.
Почему алгоритмы ошибаются
Создатель алгоритма – такой же человек, как и все. Со своими предубеждениями, воспитанием, окружением. Он вырос в определенной культуре, учился по определенным учебникам, стажировался в компаниях, где ценились определенные типы людей. И когда он садится за компьютер, он не превращается в чистую доску, а берет с собой весь свой жизненный багаж.
Плюс, ему нужны данные. А данные – это чей-то прошлый опыт. Банки передают архивы кредитных историй, кадровые агентства – базы резюме, полиция – статистику преступлений. И во всех этих данных уже заложено то, что называется «системным неравенством». Женщины реже брали кредиты, потому что им реже их давали. Темнокожие чаще попадали под арест, потому что полиция чаще патрулировала их районы. Алгоритм эти факты не перепроверяет, но впитывает. И строит свою картину мира на основе цифр, а цифры – это кривое зеркало человеческой истории. В итоге, машина просто консервирует прошлое.
Но и это еще не все. Разработчики технологий часто находятся под давлением бизнеса. Им говорят: «Сделайте модель, которая приносит прибыль. Прогнозируйте, кто не вернет кредит, кто будет неэффективным сотрудником, где выше риск страхового случая». И разработчики оптимизируют модель именно под эти цели – под точность прогноза, под экономию бюджета, под снижение убытков. А справедливость, равенство, человеческое достоинство – это не входит в метрику эффективности.
Я помню, как в одной из компаний, где я работала, мы внедряли систему прогнозирования продаж. Она использовала исторические данные, но игнорировала тот факт, что в прошлом отдельные регионы недополучали ресурсы. Когда мы попытались скорректировать модель, добавив поправку на неравномерное развитие, нам сказали: «Это усложнит модель, и она станет менее точной на тестовых данных. Мы не можем себе этого позволить – бюджет утвержден». Мы умолкли. И система продолжала предсказывать рост там, где он уже был, и игнорировать рынки, которые могли бы стать перспективными, если бы им дали шанс.
Цена несправедливости алгоритмов: экономический взгляд
Когда алгоритм отказывает в кредите, человек теряет не только шанс купить квартиру или машину, но и чувство, что он – полноценный член общества. Его признали «рисковым», «ненадежным», «недостойным». А он даже не знает, почему. Когда система отсеивает резюме, кандидат теряет не только работу, но и надежду. Каждый отказ съедает часть самоуважения, начинаются сомнения в себе.
Но есть и чисто экономический аспект. Банк использует скоринговую модель, которая систематически занижает рейтинг жителей определенных районов. В результате тысячи потенциальных заемщиков не получают кредиты на открытие малого бизнеса, покупку жилья или обучение. Что происходит в экономике? Теряются предприниматели, которые могли бы создать рабочие места. Теряются налоговые поступления. Растет бедность в этих районах. Это называется «неявные издержки дискриминации». Их не видно в отчетах, но они огромны.
Или возьмем рынок труда. Когда система фильтрации резюме отсеивает женщин и людей старшего возраста, компании лишают себя доступа к талантам. Исследования показывают, что разнообразные команды принимают более сбалансированные решения и показывают лучшие финансовые результаты. Но алгоритму все равно. Он ищет «идеального кандидата» по шаблону прошлого. И компании теряют идеи, энергию, предприимчивость.
Что теряет человек, доверяясь алгоритмам
Самое страшное – что люди начинают привыкать. Привыкать к тому, что решение может быть необъяснимым. Привыкать, что у них нет права голоса в этом диалоге с машиной. И перестают чувствовать себя авторами своей жизни. Перестают верить, что их поступки имеют значение, что воля может что-то изменить. Привыкают к тому, что «машина решила», «программа так посчитала», «система рекомендует». И перекладывают на них ответственность за свою судьбу.
Я часто спрашиваю своих клиентов: «Если бы банк отказал вам в кредите, но вы могли бы поговорить с живым человеком и объяснить свою ситуацию – вы бы почувствовали себя лучше, даже если бы результат был тот же?». И почти все отвечают: «Да». Потому что важно не только решение, но и то, как его принимают. Важно быть услышанным, понятым, признанным. А машина не умеет слушать, она только подсчитывает.
Выводы
В этом мире решения принимают алгоритмы и не объясняют – по каким правилам. Такая неизвестность – опасна. Потому что тот, кто не может задать вопрос, – несвободен. Кто не может получить ответ – не защищен. Кто не знает правил игры – всегда проигрывает. Но можно перестать молчать и начать задавать вопросы, требовать прозрачности, настаивать на том, чтобы алгоритмы объясняли свои решения, требовать права на апелляцию, на человеческий контроль, на ошибку, на прощение.
Законы уже меняются. Европейский AI Act требует прозрачности и человеческого контроля. В России обсуждается закон о цифровой валюте и цифровых правах. В мире все больше стран принимают законы, защищающие приватность и дающие людям право голоса в отношениях с алгоритмами. Но важнее законов – то, что внутри человека. Готовность спрашивать, не соглашаться, быть не просто «пользователями», а гражданами цифрового мира.
Ведь живые люди – это не профили в соцсетях, лайки или рейтинги. Мы не укладываемся ни в один алгоритм. Мы можем радоваться неудачам, любить тех, кого не стоит, хотеть того, что не оптимизирует нашу жизнь, быть непоследовательными, противоречивыми, иррациональными – и это нормально. Это и есть человечность.
Также читайте:
Алармизм - это не плохо. Однако, не вина модели в том, что белый человек лучше распознается камерой в сумерках: есть объективные ограничения алгоритмов, которые просто устранить не удается.
А в части банковского скоринга - даже не близко вышло. Моделями выбора там являются логистическая регрессия и деревья решений, в более простых случаях - экспертные балльные оценки, в которых, кстати, женщины обычно получают больший балл, чем мужчины - по причине меньшей склонности к риску. Применение ИИ к оценке кредитоспособности ограничивается сложностью интерпретации моделей, которая остается ключевой характеристикой для регулятора.
Ущемление же целых регионов в праве на кредит по причине особенностей машинного обучения звучит фантазийно - гораздо уместнее говорить о процентной ставке с учетом риска, которую потенциальные получатели ссуд не выкупают. Отсутствие ликвидного залога в бедном квартале ситуацию не улучшает.