Как противостоять алгоритмам, которые принимают решения за людей

В 2014 году я ушла из крупной западной компании. Уверенная, опытная, востребованная – я считала, что рынок труда сам найдет меня. Прошел месяц – тишина. Два – редкие отклики. Три – я уже не просто искала работу, я пыталась понять: что в моем профиле не так? Я переделывала резюме раз за разом, но в ответ получала сухие уведомления и ни одного живого объяснения. Тогда я не знала, что отказы были результатом автоматической фильтрации. Система искала ключевые слова, которые я неудачно сформулировала. Или мое резюме даже не дошло до рекрутера, потому что скрипт «решил», что я не подхожу. Я чувствовала себя не просто безработной, я чувствовала себя невидимкой.

Этот опыт заставил меня задуматься: как часто алгоритмы принимают решения за людей, когда непонятно, по каким правилам они работают? В этой статье хочу поделиться ключевыми выводами, которые важны для каждого, кто управляет бизнесом, строит карьеру или просто хочет сохранить контроль над своей жизнью в цифровую эпоху.

Почему нейтральность алгоритмов – это миф

Существует устойчивая иллюзия: алгоритм – это математика, а математика нейтральна. Дважды два = четыре, точка. Но если алгоритм ошибается, пользователи склонны винить не его, а данные: «недостаточно качественно обучили», «выборка была неполной». Или, что еще удобнее, «человек что-то не так сделал». Это очень коварный миф, потому что позволяет перекладывать ответственность на «объективность» кода, хотя код – это всего лишь увеличительное стекло, которое делает видимыми человеческие трещины.

Как работает машинное обучение? Роботу дают тысячи, миллионы примеров: кто получил кредит, а кому отказали; кого наняли, а кого нет; кто совершал преступления, а кто был оправдан. Алгоритм ищет закономерности: какие признаки чаще сопровождают положительный исход, и примеряет эти закономерности к каждому новому человеку.

Все было бы хорошо, если бы «исторические данные», на которых учится алгоритм, не были пропитаны человеческими слабостями. Представьте, что вы даете ребенку учебник истории, написанный в стране, где десятилетиями угнетали женщин и меньшинства. И просите его предсказать будущее. Что он предскажет? То же, что было в учебнике: что женщины – слабые, что люди с темной кожей – опасны, что бедные – ленивы. Он просто воспроизведет прошлое.

Алгоритм – это дитя, которое не знает сомнений, потому что не видит контекста. Он берет то, что ему дали, и находит в этом самую надежную, с точки зрения статистики, корреляцию. И если в прошлом банки чаще отказывали женщинам в кредитах – не потому, что они хуже платят, а потому что в определенный период у них был перерыв в карьере, связанный с детьми, то алгоритм «увидит»: женщины – риск. И начнет отказывать им снова, даже если они сейчас работают и имеют высокий доход. Он просто будет повторять старую несправедливость, но уже с математической безупречностью.

Примеры алгоритмической несправедливости

Когда я рассказываю о том, что алгоритмы бывают необъективными, я часто слышу: «Ну, это же просто теория. В реальной жизни такого не происходит». Тогда я привожу факты.

  • Женщина, которую не взяли в Amazon. В середине 2010-х годов в компании разработали систему для автоматического отбора резюме. Идея казалась прогрессивной: машина будет просеивать тысячи заявок, находить лучших кандидатов, экономить время рекрутеров. Но уже через год разработчики с ужасом обнаружили, что система систематически дисквалифицирует резюме, содержащие слово «женский». Она понижала рейтинг выпускниц женских колледжей, резюме с упоминанием «женского шахматного клуба» или даже слова «женщина». Почему? Потому что алгоритм обучали на исторических данных – на резюме кандидатов, которых нанимали в прошлом. В Amazon, как и во многих IT-гигантах, в технических должностях доминировали мужчины. Машина «решила», что мужчина – это и есть успешный кандидат. Amazon в итоге закрыл проект. Но подобные системы фильтрации резюме используются во многих компаниях – и сколько женщин, людей другой национальности, пожилых соискателей были отсеяны, даже не зная, что против них сыграл их же прошлый опыт?
  • Банк, который доверился алгоритму. В финансовом секторе одними из первых передали полномочия машинам. Кредитный скоринг оценивает платежеспособность по сотне параметров: доход, стаж, возраст, семейное положение, адрес. Исследования показывают, что алгоритмические модели кредитного скоринга могут воспроизводить и даже усиливать историческую дискриминацию. Если в прошлом определенным группам людей реже давали кредиты (по расовым, гендерным или географическим признакам), алгоритм «увидит» эти группы как более рискованные и продолжит отказывать им. Именно поэтому в Законе об искусственном интеллекте (AI Act) системы кредитного скоринга приравниваются к категории высокого риска, а разработчики обязаны проводить тестирование на предвзятость, обеспечивать человеческий контроль и давать объяснения по каждому отказу.
  • Лицо, которое не узнали. Системы распознавания лиц обещают безопасность и удобство. Но есть одна неприятная особенность: они гораздо хуже справляются с распознаванием людей с темной кожей, особенно женщин. В 2018 году проект Gender Shades под руководством исследовательницы Джой Буоламвини вскрыл шокирующий разрыв: коммерческие системы распознавания лиц ошибались в определении пола у темнокожих женщин более чем в одном случае из трех. Для светлокожих мужчин ошибка составляла 0%. Согласно недавним исследованиям, ошибки гендерной классификации для темнокожих женщин по-прежнему достигают 34,7% по сравнению с 0,8% для светлокожих мужчин. Исследование Университета Пенсильвании 2025 года подтвердило, что в реальных условиях (при плохом освещении, размытости или изменении ракурса) качество распознавания падает, и это падение неравномерно распределено по демографическим группам.

Почему алгоритмы ошибаются

Создатель алгоритма – такой же человек, как и все. Со своими предубеждениями, воспитанием, окружением. Он вырос в определенной культуре, учился по определенным учебникам, стажировался в компаниях, где ценились определенные типы людей. И когда он садится за компьютер, он не превращается в чистую доску, а берет с собой весь свой жизненный багаж.

Плюс, ему нужны данные. А данные – это чей-то прошлый опыт. Банки передают архивы кредитных историй, кадровые агентства – базы резюме, полиция – статистику преступлений. И во всех этих данных уже заложено то, что называется «системным неравенством». Женщины реже брали кредиты, потому что им реже их давали. Темнокожие чаще попадали под арест, потому что полиция чаще патрулировала их районы. Алгоритм эти факты не перепроверяет, но впитывает. И строит свою картину мира на основе цифр, а цифры – это кривое зеркало человеческой истории. В итоге, машина просто консервирует прошлое.

Но и это еще не все. Разработчики технологий часто находятся под давлением бизнеса. Им говорят: «Сделайте модель, которая приносит прибыль. Прогнозируйте, кто не вернет кредит, кто будет неэффективным сотрудником, где выше риск страхового случая». И разработчики оптимизируют модель именно под эти цели – под точность прогноза, под экономию бюджета, под снижение убытков. А справедливость, равенство, человеческое достоинство – это не входит в метрику эффективности.

Я помню, как в одной из компаний, где я работала, мы внедряли систему прогнозирования продаж. Она использовала исторические данные, но игнорировала тот факт, что в прошлом отдельные регионы недополучали ресурсы. Когда мы попытались скорректировать модель, добавив поправку на неравномерное развитие, нам сказали: «Это усложнит модель, и она станет менее точной на тестовых данных. Мы не можем себе этого позволить – бюджет утвержден». Мы умолкли. И система продолжала предсказывать рост там, где он уже был, и игнорировать рынки, которые могли бы стать перспективными, если бы им дали шанс.

Цена несправедливости алгоритмов: экономический взгляд

Когда алгоритм отказывает в кредите, человек теряет не только шанс купить квартиру или машину, но и чувство, что он – полноценный член общества. Его признали «рисковым», «ненадежным», «недостойным». А он даже не знает, почему. Когда система отсеивает резюме, кандидат теряет не только работу, но и надежду. Каждый отказ съедает часть самоуважения, начинаются сомнения в себе.

Но есть и чисто экономический аспект. Банк использует скоринговую модель, которая систематически занижает рейтинг жителей определенных районов. В результате тысячи потенциальных заемщиков не получают кредиты на открытие малого бизнеса, покупку жилья или обучение. Что происходит в экономике? Теряются предприниматели, которые могли бы создать рабочие места. Теряются налоговые поступления. Растет бедность в этих районах. Это называется «неявные издержки дискриминации». Их не видно в отчетах, но они огромны.

Или возьмем рынок труда. Когда система фильтрации резюме отсеивает женщин и людей старшего возраста, компании лишают себя доступа к талантам. Исследования показывают, что разнообразные команды принимают более сбалансированные решения и показывают лучшие финансовые результаты. Но алгоритму все равно. Он ищет «идеального кандидата» по шаблону прошлого. И компании теряют идеи, энергию, предприимчивость.

Что теряет человек, доверяясь алгоритмам

Самое страшное – что люди начинают привыкать. Привыкать к тому, что решение может быть необъяснимым. Привыкать, что у них нет права голоса в этом диалоге с машиной. И перестают чувствовать себя авторами своей жизни. Перестают верить, что их поступки имеют значение, что воля может что-то изменить. Привыкают к тому, что «машина решила», «программа так посчитала», «система рекомендует». И перекладывают на них ответственность за свою судьбу.

Я часто спрашиваю своих клиентов: «Если бы банк отказал вам в кредите, но вы могли бы поговорить с живым человеком и объяснить свою ситуацию – вы бы почувствовали себя лучше, даже если бы результат был тот же?». И почти все отвечают: «Да». Потому что важно не только решение, но и то, как его принимают. Важно быть услышанным, понятым, признанным. А машина не умеет слушать, она только подсчитывает.

Выводы

В этом мире решения принимают алгоритмы и не объясняют – по каким правилам. Такая неизвестность – опасна. Потому что тот, кто не может задать вопрос, – несвободен. Кто не может получить ответ – не защищен. Кто не знает правил игры – всегда проигрывает. Но можно перестать молчать и начать задавать вопросы, требовать прозрачности, настаивать на том, чтобы алгоритмы объясняли свои решения, требовать права на апелляцию, на человеческий контроль, на ошибку, на прощение.

Законы уже меняются. Европейский AI Act требует прозрачности и человеческого контроля. В России обсуждается закон о цифровой валюте и цифровых правах. В мире все больше стран принимают законы, защищающие приватность и дающие людям право голоса в отношениях с алгоритмами. Но важнее законов – то, что внутри человека. Готовность спрашивать, не соглашаться, быть не просто «пользователями», а гражданами цифрового мира.

Ведь живые люди – это не профили в соцсетях, лайки или рейтинги. Мы не укладываемся ни в один алгоритм. Мы можем радоваться неудачам, любить тех, кого не стоит, хотеть того, что не оптимизирует нашу жизнь, быть непоследовательными, противоречивыми, иррациональными – и это нормально. Это и есть человечность.

Также читайте:

Расскажите коллегам:
Комментарии

Алармизм - это не плохо. Однако, не вина модели в том, что белый человек лучше распознается камерой в сумерках: есть объективные ограничения алгоритмов, которые просто устранить не удается. 

А в части банковского скоринга - даже не близко вышло. Моделями выбора там являются логистическая регрессия и деревья решений, в более простых случаях - экспертные балльные оценки, в которых, кстати, женщины обычно получают больший балл, чем мужчины - по причине меньшей склонности к риску. Применение ИИ к оценке кредитоспособности ограничивается сложностью интерпретации моделей, которая остается ключевой характеристикой для регулятора.

Ущемление же целых регионов в праве на кредит по причине особенностей машинного обучения звучит фантазийно - гораздо уместнее говорить о процентной ставке с учетом риска, которую потенциальные получатели ссуд не выкупают. Отсутствие ликвидного залога в бедном квартале ситуацию не улучшает.

Приведенные примеры - это классические алгоритмы распознавания образов. Проблема с обучающими датасетами, а именно - разная емкость кластеров (или численность групп в обучающей выборке) давно известна. Если размеры групп в обучающей выборке сильно разнятся - то, если ничего не делать,  будут и перекосы в модели распознавания. Методы "лечения" давно известны. Это - сэмплирование, в просторечье - балансировка данных -  позволяет избегать фактического игнорирования малых групп и переобучения на больших. Методы балансировки известны. Также, известны и алгоритмы, устойчивые к разным размерам групп в исходных данных (HDBSCAN, GMM  и др.). Примеры в статье - как раз неграмотное применение известных инструментов.

Прозрачность алгоритмов? Ну только некоторых, классических типа логистической регрессии или дерева решений. И то, эти алгоритмы в "боевом исполнении" - собственность компании, ее конкурентное преимущество! Кто же просто так будет их раскрывать всем подряд? Да и что поймет даже теоретически клиент? Вот ответьте на простой вопрос - ну есть у Вас дерево решений с узлами, логикой. Вы какой вывод сможете сделать? Чем возмутиться? Какие вопросы Вы зададите по уравнению логистической регрессии? Почему, спросите? А потому что у Вас сумма баллов ниже установленной. Ei warum? Ei darum!  И что дальше?

Свободу договора пока не отменили. И по закону, в РФ, банк не обязан  объяснять причины отказа в выдаче кредита. Иначе - издержки будут такие, что ставка вырастет очень заметно - новые заемщики будут оплачивать "ответы на вопросы". Да и никто не заставляет никого брать кредиты, к примеру.

 А уж про ансамблевые алгоритмы,  нейросети - и речи быть не может - они практически неинтерпретируемы! Сами разработчики не знают как эти алгоритмы в точности работают. И это не зависит от страны или континента. Никакие законы в "понимании" не помогут. 

Но можно перестать молчать и начать задавать вопросы, требовать прозрачности, настаивать на том, чтобы алгоритмы объясняли свои решения, требовать права на апелляцию, на человеческий контроль, на ошибку, на прощение.

Допустим, все это как-то "удалось". Реально, ну выдадут отчет в формате pdf на 50 страниц с графиками (прозрачность), скажут: «Алгоритм учел 150 факторов, итоговый вес каждого — см. приложение 3» (объяснение, которое Вы не поймете); Вы подадите апелляцию, и её рассмотрит человек, но он примет решение за 30 секунд, глядя на ту же оценку риска от ИИ (иллюзорный контроль); право на ошибку признают, но только в судебном порядке, который займет годы. Ну и главное - все это могут себе позволить только самые богатые и  развитые компании. У основной массы компаний эа это ресурсов нет.

Эрнст Мальцев пишет:
Примеры в статье - как раз неграмотное применение известных инструментов.

Абсолютно верно.

Эрнст Мальцев пишет:
Но можно перестать молчать и начать задавать вопросы, требовать прозрачности,

Эта рекомендация статьи меня особо повеселила. Уже так и вижу: обычный заемщик, которому отказали в кредите, на полном серьезе требует у банка ROC-кривую и коэффициенты логистической регрессии. Даже если предположить маловероятное - что заемщик в курсе, что означают эти слова, банк вовсе не обязан раскрывать коммерческую тайну, в рамках которой он выдает привлеченные средства, рискуя капиталом акционеров. Отказывает банк далеко не самой платежеспособной части клиентской базы: отказом он бьет себе по карману, не получая процентный доход.

Эрнст Мальцев пишет:
Ну и главное - все это могут себе позволить только самые богатые и  развитые компании. У основной массы компаний эа это ресурсов нет.

У этой категории свои экономические департаменты, которые очень быстро согласуют форматы и юрисдикции получения ссуд с кредитным департаментом банка. При необходимости банк сам выйдет с предложениями о синдикации кредита.

Продвигаемый автором статьи термин "человечность" - последнее, что я ожидаю увидеть в кредитном договоре: это породило бы сомнения в дееспособности юрисконсультов банка.

Спасибо, Инна!

Тема, несомненно, интересная и непростая.

Вот только я думаю, в этом мире несправедливость алгоритмов далеко не самая неприятная проблема.

Есть еще много чего несправедливого, с чем можно не соглашаться, бороться за свои права.

Жизнь — это квест, алгоритмы — это часть реальности, нужно эту реальность учитывать и заниматься тем, чем хочется.

Ну а если хочется именно с чем-то бороться, то борьба с алгоритмами ничем не хуже любой другой борьбы с несправедливостью.

А справедливость, равенство, человеческое достоинство – это не входит в метрику эффективности.

Вообще непонятно, а что вы тут собираетесь измерять, какие метрики предлагаете использовать?

Метрика равенства - это про толерантность?

Николай Сычев пишет:
Ну а если хочется именно с чем-то бороться, то борьба с алгоритмами ничем не хуже любой другой борьбы с несправедливостью.

Отличное выражение: "Борьба с алгоритмами"! Мне почему-то это напомнило Дон Кихота. 

Тема очень интересная, можно поблагодарить автора. Только вот не все так безнадежно. Я все-таки встану на сторону алгоритмоы. 

"С тех пор как розги отменили
с образованием беда".

Не думаю, что борьба с равнодушным человеком легче борьбы с алгоритмом. Мы же помним "Вас много, я одна", "В очередь, сукины дети, в очередь".

В прошлом году с полгода примерно меня мучила газовая служба, что подходит срок проверки, что вы должны быть с 9 до 21 дома такого-то числа. Что, если что, то мы отключим, оштрафуем и так далее. 

Сначала я терпеливо ждал специалиста. Он меня "динамил". Не буду мучить долгим рассказам. Все-таки он пришел. Три минуты и "Спасибо! Досвиданья! Деньги? Нет - все бесплатно". Но теперь меня уже год достают  ультиматумы, что я должен оплатить профилактику, и что подходит новый срок. Я бы рад, да вот нет ни реквизитов, ни обратной связи. Решил "забить" на все это. Пусть алгоритм подает на меня в суд. 

Я к чему? Все-таки с алгоритмами проще. Я, например, против свободы слова. Удивил? Нет, я согласен, что на совещании экспертов совершенно нельзя лишать голоса, или точки зрения кого-то. 

Но вот к нам в поселок летом съезжаются дачники. Их много. Они засиделись зимой. Есть специальный сайт, куда можно написать жалобу, или предложение. Зимой мы звоним в администрацию и говорим "Пал Палыч,  запланируй грейдер". 

Теперь у "Пал Палыча" сотни жалоб. Этому нужен знак "Дорога ведет в тупик", а тому этот знак мешает и "Ты мне рот не затыкай!". Одну беспокоят персональные данные на доске объявления, другой считает, что нужно на каждой улице поставить шлагбаумы и так далее. Знакомая ситуация, не правда ли? 

Не дают кредит? Так я их принципиально не беру, долго объяснять. Слава алгоритмам - они спасают нас об необдуманных поступков!

Не пропускают резюме? Есть хитрые способы, есть! 

Телефон "Горячей линии" превратился в вежливое посылание "на"? Значит, пойми, твоя жалоба в любом виде никого не интересует. Вон и чиновники очень ловко умеют овечать на ваши письма: "Благодарим за активную гражданскую позицию".

Как-то был на приему у главы и прокурора. Сидят два умнейших человека и кивают мне головами, понимаем, мол, вас. Покивали, покивали гоорят, что "Вы понимаете, таков закон". Я даже прослезился от такой стойкой государственной позиции. Тогда я подал в суд и суд я выиграл. 

Лет через десять алгоритмы буду жить своей жизнью без участия человека. Алгоритм выставит ультиматум, потом обрубит газ, выставит штраф. Другой алгоритм подаст на тот алгоритм в суд. Третий станет адвокатом второго, четвертый приставом. Представляете, какая интересная жизни наступит! Так и будут годами где-то там крутится в сетях, облаках, доменах. А кто-то будет списывать с вас денгьги за безумный трафик, автоматически, естесственно. А потом к этому всему подключат ИИ.

Вот оно  - ВОЗМЕЗДИЕ !  А говоря не пафосно - виток эволюции.

Инна прекрасно его описала.

Слишком много стало людей, слишком много стало образованных или просто

информационно наполненных свободолюбивых личностей.

Власть имущим это не нравится.

И ответ системы управления миром - принудительное снижение адаптационных

возможностей людей самостоятельно пробивать себе путь в жизни.

В древности управляли племенами через шаманские обряды.

В средневековье манипулировали народами через религии и монархии.

Сейчас тиранят через глобальные скрытые цифровые алгоритмы.

 

Анатолий Курочкин пишет:

 

Лет через десять алгоритмы буду жить своей жизнью без участия человека. Алгоритм выставит ультиматум, потом обрубит газ, выставит штраф. Другой алгоритм подаст на тот алгоритм в суд. Третий станет адвокатом второго, четвертый приставом. Представляете, какая интересная жизни наступит! Так и будут годами где-то там крутится в сетях, облаках, доменах. А кто-то будет списывать с вас денгьги за безумный трафик, автоматически, естесственно. А потом к этому всему подключат ИИ.

Замечательная зарисовка )

Анатолий Курочкин пишет:
"С тех пор как розги отменилис образованием беда".
Александр Сейнов пишет:
Слишком много стало людей, слишком много стало образованных или просто информационно наполненных свободолюбивых личностей.

Я тут как раз думал о том, что термин «тушка сапиенс» лучше отражает уровень развития некоторых людей.

Анатолий Курочкин пишет:
Лет через десять алгоритмы буду жить своей жизнью без участия человека. Алгоритм выставит ультиматум, потом обрубит газ, выставит штраф

Женщине из Петербурга пришёл штраф на 41 млн рублей за неоплаченную парковку

Жительница Петербурга полтора года назад не смогла оплатить парковку из-за неработавшего приложения. Позже ей выписали штраф, который она, по её словам, погасила. Однако Комитет по транспорту подал на неё в суд за неуплату, что привело к появлению ещё одного штрафа. Женщина не стала оспаривать это решение. Спустя время ей пришли уведомления о долге в 40,9 млн рублей. В центре управления парковками пообещали разобраться. Пока сумма задолженности всё ещё отображается на «Госуслугах».

Я некоторое время назад получил ошибочный штраф за парковку у Белорусского вокзала. Пока я пытался оспорить штраф, пришла пеня - еще 5 000. Бросил обжалование и заплатил. 

Любопытный подход. Пока не могу определить жанр.

Поневоле задумаешься, пока читаешь, что с чем имеет смысл сравнивать.

Алгоритм – это дитя, которое не знает сомнений, потому что не видит контекста. Он берет то, что ему дали, и находит в этом самую надежную, с точки зрения статистики, корреляцию. 

Или - кто подскажет, что тут имеется в виду под объективностью?  

Когда я рассказываю о том, что алгоритмы бывают необъективными

Мы - вроде бы - не ругаем таблицу умножения или калькулятор, если нам не нравится ответ. Машинке всё равно, на какие кнопки нажимает хозяин. Если он ввёл неправильные данные - так и посчитает.

Объективность применительно к технике - нонсенс. А алгоритм делает только то, что хотели его авторы. Конечно, после того, как они его протестировали, сделали выводы, исправили ошибки и, возможно, что-то переделали.

Кто-то видел объективно летающий самолёт? А они уже давно управляются не только вручную. Сплошные алгоритмы, с каждой новой моделью всё сложнее.

Сломался на 

А справедливость, равенство, человеческое достоинство – это не входит в метрику эффективности.

А куда всё перечисленное могло бы войти? Можно заодно проверить с триадой  "Свобода, равенство и братство". В те времена о метриках думали немногие.

Оставлять комментарии могут только зарегистрированные пользователи
Статью прочитали
Обсуждение статей
Все комментарии
Дискуссии
Все дискуссии
HR-новости
Как смена работы влияет на доход

Наименее выгодные карьерные переходы у работников высокооплачиваемой группы с зарплатой 300–400 тыс. руб.

«Детский мир» ввел должность директора по внедрению искусственного интеллекта

Основная задача руководителя в этой роли – оптимизация бизнес-процессов с помощью AI-решений.

Блог становится частью карьерного профиля

Треть россиян, которые ведут или раньше вели блог, получали предложения о работе или подработке благодаря своему каналу.

Каждый второй готов рассмотреть предложение с зарплатой на 20% выше

Но для перехода важны не только деньги.