Как противостоять алгоритмам, которые принимают решения за людей

В 2014 году я ушла из крупной западной компании. Уверенная, опытная, востребованная – я считала, что рынок труда сам найдет меня. Прошел месяц – тишина. Два – редкие отклики. Три – я уже не просто искала работу, я пыталась понять: что в моем профиле не так? Я переделывала резюме раз за разом, но в ответ получала сухие уведомления и ни одного живого объяснения. Тогда я не знала, что отказы были результатом автоматической фильтрации. Система искала ключевые слова, которые я неудачно сформулировала. Или мое резюме даже не дошло до рекрутера, потому что скрипт «решил», что я не подхожу. Я чувствовала себя не просто безработной, я чувствовала себя невидимкой.

Этот опыт заставил меня задуматься: как часто алгоритмы принимают решения за людей, когда непонятно, по каким правилам они работают? В этой статье хочу поделиться ключевыми выводами, которые важны для каждого, кто управляет бизнесом, строит карьеру или просто хочет сохранить контроль над своей жизнью в цифровую эпоху.

Почему нейтральность алгоритмов – это миф

Существует устойчивая иллюзия: алгоритм – это математика, а математика нейтральна. Дважды два = четыре, точка. Но если алгоритм ошибается, пользователи склонны винить не его, а данные: «недостаточно качественно обучили», «выборка была неполной». Или, что еще удобнее, «человек что-то не так сделал». Это очень коварный миф, потому что позволяет перекладывать ответственность на «объективность» кода, хотя код – это всего лишь увеличительное стекло, которое делает видимыми человеческие трещины.

Как работает машинное обучение? Роботу дают тысячи, миллионы примеров: кто получил кредит, а кому отказали; кого наняли, а кого нет; кто совершал преступления, а кто был оправдан. Алгоритм ищет закономерности: какие признаки чаще сопровождают положительный исход, и примеряет эти закономерности к каждому новому человеку.

Все было бы хорошо, если бы «исторические данные», на которых учится алгоритм, не были пропитаны человеческими слабостями. Представьте, что вы даете ребенку учебник истории, написанный в стране, где десятилетиями угнетали женщин и меньшинства. И просите его предсказать будущее. Что он предскажет? То же, что было в учебнике: что женщины – слабые, что люди с темной кожей – опасны, что бедные – ленивы. Он просто воспроизведет прошлое.

Алгоритм – это дитя, которое не знает сомнений, потому что не видит контекста. Он берет то, что ему дали, и находит в этом самую надежную, с точки зрения статистики, корреляцию. И если в прошлом банки чаще отказывали женщинам в кредитах – не потому, что они хуже платят, а потому что в определенный период у них был перерыв в карьере, связанный с детьми, то алгоритм «увидит»: женщины – риск. И начнет отказывать им снова, даже если они сейчас работают и имеют высокий доход. Он просто будет повторять старую несправедливость, но уже с математической безупречностью.

Примеры алгоритмической несправедливости

Когда я рассказываю о том, что алгоритмы бывают необъективными, я часто слышу: «Ну, это же просто теория. В реальной жизни такого не происходит». Тогда я привожу факты.

  • Женщина, которую не взяли в Amazon. В середине 2010-х годов в компании разработали систему для автоматического отбора резюме. Идея казалась прогрессивной: машина будет просеивать тысячи заявок, находить лучших кандидатов, экономить время рекрутеров. Но уже через год разработчики с ужасом обнаружили, что система систематически дисквалифицирует резюме, содержащие слово «женский». Она понижала рейтинг выпускниц женских колледжей, резюме с упоминанием «женского шахматного клуба» или даже слова «женщина». Почему? Потому что алгоритм обучали на исторических данных – на резюме кандидатов, которых нанимали в прошлом. В Amazon, как и во многих IT-гигантах, в технических должностях доминировали мужчины. Машина «решила», что мужчина – это и есть успешный кандидат. Amazon в итоге закрыл проект. Но подобные системы фильтрации резюме используются во многих компаниях – и сколько женщин, людей другой национальности, пожилых соискателей были отсеяны, даже не зная, что против них сыграл их же прошлый опыт?
  • Банк, который доверился алгоритму. В финансовом секторе одними из первых передали полномочия машинам. Кредитный скоринг оценивает платежеспособность по сотне параметров: доход, стаж, возраст, семейное положение, адрес. Исследования показывают, что алгоритмические модели кредитного скоринга могут воспроизводить и даже усиливать историческую дискриминацию. Если в прошлом определенным группам людей реже давали кредиты (по расовым, гендерным или географическим признакам), алгоритм «увидит» эти группы как более рискованные и продолжит отказывать им. Именно поэтому в Законе об искусственном интеллекте (AI Act) системы кредитного скоринга приравниваются к категории высокого риска, а разработчики обязаны проводить тестирование на предвзятость, обеспечивать человеческий контроль и давать объяснения по каждому отказу.
  • Лицо, которое не узнали. Системы распознавания лиц обещают безопасность и удобство. Но есть одна неприятная особенность: они гораздо хуже справляются с распознаванием людей с темной кожей, особенно женщин. В 2018 году проект Gender Shades под руководством исследовательницы Джой Буоламвини вскрыл шокирующий разрыв: коммерческие системы распознавания лиц ошибались в определении пола у темнокожих женщин более чем в одном случае из трех. Для светлокожих мужчин ошибка составляла 0%. Согласно недавним исследованиям, ошибки гендерной классификации для темнокожих женщин по-прежнему достигают 34,7% по сравнению с 0,8% для светлокожих мужчин. Исследование Университета Пенсильвании 2025 года подтвердило, что в реальных условиях (при плохом освещении, размытости или изменении ракурса) качество распознавания падает, и это падение неравномерно распределено по демографическим группам.

Почему алгоритмы ошибаются

Создатель алгоритма – такой же человек, как и все. Со своими предубеждениями, воспитанием, окружением. Он вырос в определенной культуре, учился по определенным учебникам, стажировался в компаниях, где ценились определенные типы людей. И когда он садится за компьютер, он не превращается в чистую доску, а берет с собой весь свой жизненный багаж.

Плюс, ему нужны данные. А данные – это чей-то прошлый опыт. Банки передают архивы кредитных историй, кадровые агентства – базы резюме, полиция – статистику преступлений. И во всех этих данных уже заложено то, что называется «системным неравенством». Женщины реже брали кредиты, потому что им реже их давали. Темнокожие чаще попадали под арест, потому что полиция чаще патрулировала их районы. Алгоритм эти факты не перепроверяет, но впитывает. И строит свою картину мира на основе цифр, а цифры – это кривое зеркало человеческой истории. В итоге, машина просто консервирует прошлое.

Но и это еще не все. Разработчики технологий часто находятся под давлением бизнеса. Им говорят: «Сделайте модель, которая приносит прибыль. Прогнозируйте, кто не вернет кредит, кто будет неэффективным сотрудником, где выше риск страхового случая». И разработчики оптимизируют модель именно под эти цели – под точность прогноза, под экономию бюджета, под снижение убытков. А справедливость, равенство, человеческое достоинство – это не входит в метрику эффективности.

Я помню, как в одной из компаний, где я работала, мы внедряли систему прогнозирования продаж. Она использовала исторические данные, но игнорировала тот факт, что в прошлом отдельные регионы недополучали ресурсы. Когда мы попытались скорректировать модель, добавив поправку на неравномерное развитие, нам сказали: «Это усложнит модель, и она станет менее точной на тестовых данных. Мы не можем себе этого позволить – бюджет утвержден». Мы умолкли. И система продолжала предсказывать рост там, где он уже был, и игнорировать рынки, которые могли бы стать перспективными, если бы им дали шанс.

Цена несправедливости алгоритмов: экономический взгляд

Когда алгоритм отказывает в кредите, человек теряет не только шанс купить квартиру или машину, но и чувство, что он – полноценный член общества. Его признали «рисковым», «ненадежным», «недостойным». А он даже не знает, почему. Когда система отсеивает резюме, кандидат теряет не только работу, но и надежду. Каждый отказ съедает часть самоуважения, начинаются сомнения в себе.

Но есть и чисто экономический аспект. Банк использует скоринговую модель, которая систематически занижает рейтинг жителей определенных районов. В результате тысячи потенциальных заемщиков не получают кредиты на открытие малого бизнеса, покупку жилья или обучение. Что происходит в экономике? Теряются предприниматели, которые могли бы создать рабочие места. Теряются налоговые поступления. Растет бедность в этих районах. Это называется «неявные издержки дискриминации». Их не видно в отчетах, но они огромны.

Или возьмем рынок труда. Когда система фильтрации резюме отсеивает женщин и людей старшего возраста, компании лишают себя доступа к талантам. Исследования показывают, что разнообразные команды принимают более сбалансированные решения и показывают лучшие финансовые результаты. Но алгоритму все равно. Он ищет «идеального кандидата» по шаблону прошлого. И компании теряют идеи, энергию, предприимчивость.

Что теряет человек, доверяясь алгоритмам

Самое страшное – что люди начинают привыкать. Привыкать к тому, что решение может быть необъяснимым. Привыкать, что у них нет права голоса в этом диалоге с машиной. И перестают чувствовать себя авторами своей жизни. Перестают верить, что их поступки имеют значение, что воля может что-то изменить. Привыкают к тому, что «машина решила», «программа так посчитала», «система рекомендует». И перекладывают на них ответственность за свою судьбу.

Я часто спрашиваю своих клиентов: «Если бы банк отказал вам в кредите, но вы могли бы поговорить с живым человеком и объяснить свою ситуацию – вы бы почувствовали себя лучше, даже если бы результат был тот же?». И почти все отвечают: «Да». Потому что важно не только решение, но и то, как его принимают. Важно быть услышанным, понятым, признанным. А машина не умеет слушать, она только подсчитывает.

Выводы

В этом мире решения принимают алгоритмы и не объясняют – по каким правилам. Такая неизвестность – опасна. Потому что тот, кто не может задать вопрос, – несвободен. Кто не может получить ответ – не защищен. Кто не знает правил игры – всегда проигрывает. Но можно перестать молчать и начать задавать вопросы, требовать прозрачности, настаивать на том, чтобы алгоритмы объясняли свои решения, требовать права на апелляцию, на человеческий контроль, на ошибку, на прощение.

Законы уже меняются. Европейский AI Act требует прозрачности и человеческого контроля. В России обсуждается закон о цифровой валюте и цифровых правах. В мире все больше стран принимают законы, защищающие приватность и дающие людям право голоса в отношениях с алгоритмами. Но важнее законов – то, что внутри человека. Готовность спрашивать, не соглашаться, быть не просто «пользователями», а гражданами цифрового мира.

Ведь живые люди – это не профили в соцсетях, лайки или рейтинги. Мы не укладываемся ни в один алгоритм. Мы можем радоваться неудачам, любить тех, кого не стоит, хотеть того, что не оптимизирует нашу жизнь, быть непоследовательными, противоречивыми, иррациональными – и это нормально. Это и есть человечность.

Также читайте:

Расскажите коллегам:
Комментарии

Если пойти по логике концептуальных рассуждение, то целесообразно разделять разные уровни.

  • автоматизация операции
  • автоматизация работы
  • автоматизация функции
  • автоматизация принятия решения

Ключевой момент – это контекст где этот используется. 

Антон Соболев пишет:
Николай Сычев пишет:

Мне неуютно смотреть на людей, которые любят ходить строем.

Но в этом и состоит смысл гос. школ: научить людей любить ходить строем, обеспечить стандартизацию реакций. За успехи в этом даже значки с грамотами раздают. А иначе всем пришлось бы всякий раз думать: и изнурительно для человека, и опасно непрогнозируемым итогом для государства. "Как бы чего не вышло..."

На мой взгляд, Государство (Советсткое, наверное, всё же :) ) через школу и другие "коллективные творчества" и учит ходить людей организованно, поскольку "Государство" и есть "организация". Это, говоря языком дарвинистов - наследственность, дающая устойчивость государству, стабильность. А их, людей, индивидуальная хаотичность, то что вне школы, даёт "изменчивость" для развития.

До тех пор, пока это не сокращает приток налогов и иных платежей. Свободные от работ находят себе занятия с непредсказуемой монетизацией, в то время как заранее организованный труд освобождает от лишних мыслей. Пример ВШЭ последних лет здесь показателен.

Антон, поясните пример ВШЭ

Сергей Попов пишет:

На мой взгляд, Государство (Советсткое, наверное, всё же :) ) через школу и другие "коллективные творчества" и учит ходить людей организованно, поскольку "Государство" и есть "организация". Это, говоря языком дарвинистов - наследственность, дающая устойчивость государству, стабильность. А их, людей, индивидуальная хаотичность, то что вне школы, даёт "изменчивость" для развития.

Все - логично: "кто ужинает, тот и танцует". В части СССР - все-таки более затейливо выходило, была некая сверхзадача: распространить идею пытались дальше гос. границ, под нее собирались реализаторы разных проектов - от помощи Кубе/Африке/Лат. Америке до БАМа/космоса/коммунизма. Теперь этот фактор уже особой роли не играет, поэтому на первый план выходят более прикладные навыки. "Гайки вертеть" - и полезнее, и понятнее. Плюс вектор демографии стал прослеживаться четче: там обратная зависимость с уровнем образования имеется.

До тех пор, пока это не сокращает приток налогов и иных платежей. Свободные от работ находят себе занятия с непредсказуемой монетизацией, в то время как заранее организованный труд освобождает от лишних мыслей. Пример ВШЭ последних лет здесь показателен.

Антон, поясните пример ВШЭ

До 2022 года вектор работы ВШЭ был ориентирован на соответствие мировым тенденциям, что не всегда соответствовало внутренним запросам. Ранее уже писал, например, что использование русского языка не поощрялось. Многие его и не понимали вовсе, хотя формально все было в контуре образования. Теперь это выровнялось: основной состав выпуска больше ориентирован на внутреннее потребление, что формирует понятную перспективу в части налоговых поступлений. Есть успехи и по стабилизации вектора мышления: улучшается управляемость реакций на динамику новостного фона, растет их предсказуемость. Картинка становится объемнее, если рассматривать ее в динамике, например, за 10 лет: от РБК в 2015 к Первому каналу в 2025. Изменения концептуальны и системны, причем продолжаются.

Антон Соболев пишет:
Сергей Попов пишет:

На мой взгляд, Государство (Советсткое, наверное, всё же :) ) через школу и другие "коллективные творчества" и учит ходить людей организованно, поскольку "Государство" и есть "организация". Это, говоря языком дарвинистов - наследственность, дающая устойчивость государству, стабильность. А их, людей, индивидуальная хаотичность, то что вне школы, даёт "изменчивость" для развития.

Все - логично: "кто ужинает, тот и танцует". В части СССР - все-таки более затейливо выходило, была некая сверхзадача: распространить идею пытались дальше гос. границ, под нее собирались реализаторы разных проектов - от помощи Кубе/Африке/Лат. Америке до БАМа/космоса/коммунизма. Теперь этот фактор уже особой роли не играет, поэтому на первый план выходят более прикладные навыки. "Гайки вертеть" - и полезнее, и понятнее. Плюс вектор демографии стал прослеживаться четче: там обратная зависимость с уровнем образования имеется.

"Мы, многонациональный народ Российской Федерации,

соединенные общей судьбой на своей земле,
утверждая права и свободы человека, гражданский мир и согласие,
сохраняя исторически сложившееся государственное единство..."

Соединение общей судьбой подразумевает, всё же, какую-то идею для объединения. БАМ и Куба - это часть Плана. Просто, он какой-то был. Сейчас нет общего Плана. Хороший План, Стратегия  "общенациональной идеи", на мой взгляд аналог корпоративных "Миссии", "Стратегии"и т.п. Просто, сейчас нет ни Миссии, ни Виденья. И Стратегия - мало общего с Нацпроектами.

 

До тех пор, пока это не сокращает приток налогов и иных платежей. Свободные от работ находят себе занятия с непредсказуемой монетизацией, в то время как заранее организованный труд освобождает от лишних мыслей. Пример ВШЭ последних лет здесь показателен.

Антон, поясните пример ВШЭ

До 2022 года вектор работы ВШЭ был ориентирован на соответствие мировым тенденциям, что не всегда соответствовало внутренним запросам. Ранее уже писал, например, что использование русского языка не поощрялось. Многие его и не понимали вовсе, хотя формально все было в контуре образования. Теперь это выровнялось: основной состав выпуска больше ориентирован на внутреннее потребление, что формирует понятную перспективу в части налоговых поступлений. Есть успехи и по стабилизации вектора мышления: улучшается управляемость реакций на динамику новостного фона, растет их предсказуемость. Картинка становится объемнее, если рассматривать ее в динамике, например, за 10 лет: от РБК в 2015 к Первому каналу в 2025. Изменения концептуальны и системны, причем продолжаются.

Понятно... А к РБК у меня после их дефолта недоверчивое отношение))) 

Сергей Попов пишет:

"Мы, многонациональный народ Российской Федерации,

соединенные общей судьбой на своей земле,
утверждая права и свободы человека, гражданский мир и согласие,
сохраняя исторически сложившееся государственное единство..."

 

Но это же не случилось самим придумать... Как-то читал анализ, главный вывод из которого состоял в том, что самостоятельно такая формулировка социокультурно не могла бы возникнуть в СССР. 

Зато хорошо вышло творческое заимствование Преамбулы к Конституции США, 1787 год:

Мы, народ Соединённых Штатов, в целях образования более совершенного Союза, установления правосудия, обеспечения внутреннего спокойствия, организации общей обороны, содействия всеобщему благосостоянию и обеспечения нам и нашему потомству благ свободы, устанавливаем и вводим настоящую Конституцию для Соединённых Штатов Америки.

Есть неплохая статья по сравнению двух текстов конституций - здесь. 

Соединение общей судьбой подразумевает, всё же, какую-то идею для объединения. БАМ и Куба - это часть Плана. Просто, он какой-то был. Сейчас нет общего Плана. Хороший План, Стратегия  "общенациональной идеи", на мой взгляд аналог корпоративных "Миссии", "Стратегии"и т.п. Просто, сейчас нет ни Миссии, ни Виденья. И Стратегия - мало общего с Нацпроектами.

 

Для разрабоки стратегии требуется миссия, для разработки миссии нужна нац. идея. С распада СССР ее найти не удалось. Да и в целом - сложно искать, когда пять раз в столетие приходится "вилять курсом". Вчерашняя повестка может к утру уже устареть - придется писать новую, "а зачем?"

Понятно... А к РБК у меня после их дефолта недоверчивое отношение))) 

РБК я взял как более-менее печатное и культурное издание. В Сети множество ресурсов менее сдержанных - с красочными предложениями как, кого и на чем вешать.

Антон Соболев пишет:
Сергей Попов пишет:

"Мы, многонациональный народ Российской Федерации,

соединенные общей судьбой на своей земле,
утверждая права и свободы человека, гражданский мир и согласие,
сохраняя исторически сложившееся государственное единство..."

 

Но это же не случилось самим придумать... Как-то читал анализ, главный вывод из которого состоял в том, что самостоятельно такая формулировка социокультурно не могла бы возникнуть в СССР. 

Зато хорошо вышло творческое заимствование Преамбулы к Конституции США, 1787 год:

Мы, народ Соединённых Штатов, в целях образования более совершенного Союза, установления правосудия, обеспечения внутреннего спокойствия, организации общей обороны, содействия всеобщему благосостоянию и обеспечения нам и нашему потомству благ свободы, устанавливаем и вводим настоящую Конституцию для Соединённых Штатов Америки.

Есть неплохая статья по сравнению двух текстов конституций - здесь. 

Соединение общей судьбой подразумевает, всё же, какую-то идею для объединения. БАМ и Куба - это часть Плана. Просто, он какой-то был. Сейчас нет общего Плана. Хороший План, Стратегия  "общенациональной идеи", на мой взгляд аналог корпоративных "Миссии", "Стратегии"и т.п. Просто, сейчас нет ни Миссии, ни Виденья. И Стратегия - мало общего с Нацпроектами.

 

Для разрабоки стратегии требуется миссия, для разработки миссии нужна нац. идея. С распада СССР ее найти не удалось. Да и в целом - сложно искать, когда пять раз в столетие приходится "вилять курсом". Вчерашняя повестка может к утру уже устареть - придется писать новую, "а зачем?"

Понятно... А к РБК у меня после их дефолта недоверчивое отношение))) 

РБК я взял как более-менее печатное и культурное издание. В Сети множество ресурсов менее сдержанных - с красочными предложениями как, кого и на чем вешать.

Согласен по всем пунктам...

1. Конституцию России писали из опыта США,как и 2-палатный парламент, Президент и т.п.

2.  "если вы можете нам подсказать, как определить наши национальные интересы, то я буду вам очень благодарен" - из того же ряда, что и Конституция

3. Да, несмотря на "личную неприязнь", каждое утро начинаю с канала РБК)). "Других писателей у меня для Вас нет" ))

Сергей Попов пишет:
2.  "если вы можете нам подсказать, как определить наши национальные интересы, то я буду вам очень благодарен"

Вот эта точно будет в моем топ-листе. Такое "огнище" нужно "отливать в граните". Так еще и кому сказал - Никсону. Мда, сделать бы ему встречу с Громыко - интересно было бы посмотреть.

Антон Соболев пишет:
Сергей Попов пишет:
2.  "если вы можете нам подсказать, как определить наши национальные интересы, то я буду вам очень благодарен"

Вот эта точно будет в моем топ-листе. Такое "огнище" нужно "отливать в граните". Так еще и кому сказал - Никсону. Мда, сделать бы ему встречу с Громыко - интересно было бы посмотреть.

Друзья, но это ведь мы сейчас исправляемся, слава Богу. А в 99-м я лично пытался спорить с одним высокопоставленным чиновником. Он чуть не от лица своего департамента говорил, что нам нужно поддерживать только экономически целесообразное население. В дискуссии у нас доходило даже до обвинений в фашизме. Увы, такие были времена.

Вспомните "У кого нет миллиарда, идите...".

А сослаться в те годы на Громыко было совершенно не комильфо. 

Анатолий Курочкин пишет:
Антон Соболев пишет:
Сергей Попов пишет:
2.  "если вы можете нам подсказать, как определить наши национальные интересы, то я буду вам очень благодарен"

Вот эта точно будет в моем топ-листе. Такое "огнище" нужно "отливать в граните". Так еще и кому сказал - Никсону. Мда, сделать бы ему встречу с Громыко - интересно было бы посмотреть.

Друзья, но это ведь мы сейчас исправляемся, слава Богу.

Мне напомнило: "Приучал цыган кобылу голодать: совсем уж было привыкла, но подохла." Есть у исправления начало, нет у исправления конца... Мне видится, что "работа над ошибками" сильно затянулась.

А в 99-м я лично пытался спорить с одним высокопоставленным чиновником. Он чуть не от лица своего департамента говорил, что нам нужно поддерживать только экономически целесообразное население. В дискуссии у нас доходило даже до обвинений в фашизме. Увы, такие были времена.

Не так давно глава одного синего банка вполне серьезно аргументировал, что интересен только крупный бизнес. На фоне даже среднего бизнеса целесообразность обычного налогоплательщика теряется.

Как обычно, все упирается в качество подготовки: учебник экономики сам себя не прочитает. Не думаю, что что-то радикально изменилось.

Вспомните "У кого нет миллиарда, идите...".

Такая позиция вполне может существовать, если не задаются вопросы о происхождении миллиарда. Может, зарплата накопилась.

А сослаться в те годы на Громыко было совершенно не комильфо. 

Думаю, это и сегодня часто останется вне понимания.

Антон Соболев пишет:
Не так давно глава одного синего банка вполне серьезно аргументировал, что интересен только крупный бизнес. На фоне даже среднего бизнеса целесообразность обычного налогоплательщика теряется.

Даже не прибыльный, а просто крупный? А прибыльный и устойчивый средний бизнес банку больше не нужен? О рознице даже не спрашиваю.

Антон Соболев пишет:
Как обычно, все упирается в качество подготовки: учебник экономики сам себя не прочитает. Не думаю, что что-то радикально изменилось.

Да, как обычно. Как и все остальные учебники.

А с появлением высотехнологичных шпаргалок, использующих AI, придётся доказывать, что учебники вообще всё еще нужно читать и - хуже - понимать.

Оставлять комментарии могут только зарегистрированные пользователи
Статью прочитали
Обсуждение статей
Все комментарии
Дискуссии
Елена Иванова
Олег, здравствуйте,только дошли руки привести статусы, про которые спрашивалавот по ним вы когда...
Все дискуссии