Почему отчет с идеальными цифрами не застрахует руководителя от ошибки

Давайте представим условного человека, который в конце декабря подводит итоги года и набрасывает планы на следующий. Подсчитав, он обнаруживает, что его средний доход в минувшем году был около 150 тыс. рублей в месяц. Хорошо это или плохо, много или мало? Само по себе это число ничего не говорит. Оценка и смысловая нагруженность появляются, когда человек начинает доход с чем-то сравнивать. Например:

• Со своими доходами в предыдущие годы: «наконец-то удалось хоть что-то заработать», «стабильность – признак мастерства» или наоборот, «в этом году был провал», «никак не вырвусь из бедности».
• С расходами текущими и планируемыми: «теперь я могу / не могу себе позволить…»).
• Со средней зарплатой в стране, регионе, отрасли или в организации: «не хуже других» или «не дотянул до среднего».
• С доходами референтной группы – родственников, друзей, бывших однокурсников: «уж побольше зарабатываю, чем Маша».
• С предыдущими планами: «превзошел свои ожидания» или «я был слишком оптимистичен».
• С потраченными усилиями: «овчинка выделки не стоила» или «неплохо заработал, не слишком напрягаясь».

Итоговая оценка доходов будет зависеть от того, с чем именно их сравнивать. Соответственно, могут серьезно отличаться и планы на будущий год, построенные на этой оценке.

Зачастую и в других сферах жизни числа сами по себе ничего не значат:

• Человек весит 85 килограммов.
• Ребенок приносит оценку «4» за контрольную.
• Навигатор подсказывает, что до аэропорта осталось 35 минут езды.
• Скидка на товар 25%.

Хорошо это или плохо? Радоваться или огорчаться? Правильного ответа нет. Все зависит от того, как конкретный человек в конкретных обстоятельствах будет эти числа интерпретировать. Перенесем эту мысль в сферу управления и посмотрим, что могут числа сами по себе рассказать менеджеру.

Почему принимать решения на основе голых чисел – ошибочно

«Цифры объективны. Поэтому решения, принятые на основе цифр, – рациональные, свободные от эмоций и личных пристрастий». Это убеждение греет душу руководителям, поскольку обещает твердую почву под ногами. Проблема в том, что это иллюзия.

Статистика, как и любые цифры, сама по себе ничего не означает. Вспомните пример в начале статьи. Любая таблица с колонками чисел – это не высказывание о реальности, а лишь сырье для него. Смысл в числах появляется только в момент, когда их можно интерпретировать. А интерпретация – это всегда акт человеческого выбора. Например, на какую цифру обратить особое внимание, какую группу выделить, за какой период сравнить, какую причинно-следственную связь предположить там, где обнаружена корреляция.

Таким образом, управленец, искренне верящий, что «цифры сами все показали», на самом деле не замечает, как его собственные убеждения, когнитивные искажения, страхи или надежды определяют его поступки. Решение принято на основе статистики, но субъективность никуда не делась – просто не осознается.

Чтобы разобраться, как это работает, давайте сознательно сделаем абсолютно нереалистичное допущение. Представим, что:

• Деятельность сотрудников можно полностью измерить, получив необходимые показатели.
• Данные собраны честно, без ошибок и подлогов, метрики отражают именно то, что должны отражать. На руках безупречная, абсолютно точная статистика.
• Сотрудники действуют как хорошо отлаженные машины – не обижаются и не саботируют, когда их перепроверяют или измеряют. Не пытаются показаться лучше, чем они есть. Не конфликтуют и не теряют мотивацию. Они честно трудятся в меру своих сил, навыков и опыта.

Даже в этом лабораторном, нереальном случае цифры не говорят ровным счетом ничего. Посмотрим на примерах.

Как руководители могут интерпретировать данные

1. Кого повысить, а кого уволить, или парадокс Симпсона

В отделе продаж работают среди прочих сотрудников два менеджера, Анна и Борис. Они продают два типа продуктов – А и Б. Анна в основном специализируется на продажах товара А, Борис – товара Б.

Коммерческий директор решил сравнить квалификацию этих двух сотрудников и попросил у начальника отдела продаж статистику конверсии (процента контактов, завершенных сделок) в работе Анны и Бориса за год. Неважно, для чего именно ему нужны эти данные. Может быть, это два лучших сотрудника, и планируется кого-то перевести на более ответственный участок работы или повысить в должности. Или, наоборот, коммерческий директор на основе объективных показателей хочет решить, кого из двух сотрудников уволить. Главное, что он хочет сравнить их показатели.

Начальник отдела приносит честные цифры, из которых видно, что по товару Б конверсия у Бориса на 25% выше, чем у Анны. Мало того, даже по основному для Анны товару А конверсия у Бориса на 20% выше.

Таблица 1. Статистические показатели Анны и Бориса (по товарам А и Б)

В такой ситуации решение руководителя, кого повышать, а кого увольнять, выглядит очевидным. Цифры говорят сами за себя, квалификация Бориса объективно выше.

А теперь представим, что начальник отдела принес коммерческому директору статистику не отдельно по каждому из двух товаров, а единую, по обоим товарам сразу. Цифры те же самые, абсолютно честные.

Таблица 2. Статистические показатели Анны и Бориса (общие)

И в такой ситуации решение руководителя, кого повышать, а кого увольнять, тоже выглядит очевидным. Цифры снова говорят сами за себя, только противоположное – конверсия у Анны на 46% выше, чем у Бориса.

Это классический пример Парадокса Симпсона, статистического явления, при котором тенденция, наблюдаемая в нескольких группах данных, исчезает или меняется на противоположную при объединении этих групп. Это явление общее для статистики, поэтому совершенно неважно, что именно оценивать – конверсию, выручку на сотрудника, процент брака на производстве, количество жалоб на специалиста или что-то другое.

А теперь представьте, сколько раз повышали или увольняли таких анн и борисов на основе совершенно объективной статистики. И каждый раз цифры говорили сами за себя.

2. Какой отдел выполнил задачу лучше, или феномен Уилла Роджерса

Другой пример. В компании работает несколько отделов продаж, в частности, отделы А и Б. В первом показатели намного выше, потому что там более опытные продавцы, давно работающие в этой сфере. Отдел Б был недавно сформирован и состоит из новичков, пока не набравших базу клиентов.

Коммерческий директор, проанализировав показатели отделов (см. Таблицу 3), ставит задачу в обоих отделах по итогам года поднять среднее количество сделок на одного сотрудника на 3%.

Таблица 3. Статистические показатели отделов А и Б за минувший год

Через год коммерческий директор получает статистику – в отделе А прирост среднего количества сделок на одного сотрудника составил 6,25%, а в отделе Б – аж на 8,33%. Управленческие решения? Премировать руководителей обоих отделов, возможно, рассмотреть вопрос об их повышении. Вот только такие результаты необязательно свидетельствуют о том, что начальники отделов смогли вдохновить своих сотрудников или нашли более перспективные способы поиска клиентов. Вполне возможно, дело лишь в работе с цифрами.

Таблица 4. Статистические показатели отделов А и Б за текущий год

Обратите внимание, ни один сотрудник в отделах А и Б не стал лучше работать. Просто руководители отделов, будучи сообразительными людьми, договорились между собой и один сотрудник – Васильев, худший в отделе А, перешел в отдел Б, где стал лучшим. В результате статистика выросла в обоих отделах.

Если в отделах будет не по 5-6 менеджеров, а, скажем, по 20, начальники получают огромный статистический запас. Они всю свою карьеру смогут рапортовать о ежегодном повышении показателей, при этом представляя руководству честные цифры, которые говорят сами за себя.

Это проявление феномена Уилла Роджерса. Такие «приросты» продуктивности будут проявляться в любых группах, серьезно различающихся по средним показателям, если у руководителей есть возможность перетасовывать людей между подразделениями.

Почему субъективизм нельзя исправить технологиями

Может показаться, что описанная проблема – это вопрос квалификации управленца, анализирующего статистику, что субъективность привносят дилетанты, которые не умеют работать со сложными статистическими моделями, что если нанять головастых математиков, купить дорогой софт и внедрить ИИ-системы, то цифры наконец-то покажут реальность, без нелепой субъективности. Это иллюзия.

Даже самый совершенный аналитический инструмент работает по алгоритму, который был кем-то написан. А любой алгоритм, в свою очередь, начинается с выбора – какие переменные считать значимыми, какой период брать за базовый, что считать выбросом, а что тенденцией. Нейросеть, обученная на имеющихся данных, лишь воспроизводит закономерности прошлого, вложенные в выборку людьми, принимавшими решения задолго до ее запуска. Искусственный интеллект не устраняет субъективность, он руководствуется ей как правилом. Иными словами, субъективность в интерпретации данных – это не баг, который можно пофиксить заменой методики подсчета. Это фича самого процесса превращения чисел в смысл.

Иллюзия точности ИИ-систем

В связи с лавинообразным развитием искусственного интеллекта на рынке появляется все больше систем аналитики, оценивающих те или иные аспекты человеческой деятельности. Системы автоматического парсинга резюме, поведенческой аналитики, оценки soft skills через игры, скоринга благонадежности и рисков, анализа продуктивности сотрудников...

На первый взгляд, эти системы, наконец-то, позволяют избавиться от субъективности и принимать управленческие решения, основываясь на объективных данных. Посмотрим, как это может выглядеть на примере системы лояльности компании, она же система предупреждения увольнений (AI HR).

HR-директор крупной компании инициировал внедрение софта на базе ИИ, который анализирует поведение сотрудников (опоздания, почту, задачи в трекере) и предсказывает риск увольнения. В компании работает 10 тыс. человек. Известно, что увольняется по собственному желанию 2% сотрудников в год (200 из 10 тыс.).

Представим, что система невероятно точна, ее чувствительность и специфичность существенно превосходит показатели классических психологических тестов и абсолютно точно достигает 90%. Если сотрудник уволится в течение ближайшего года, он в отчете системы с вероятностью 90% попадает в «красную» зону. Если не уволится – с 90% вероятностью в «зеленую» зону. В первом отчете система выдает список «красной» зоны из 1160 человек (11,6% сотрудников компании). Зная, что точность системы 90%, HR-директор предполагает, что 90% из этих потенциально нелояльных компании сотрудников могут уволиться в течение ближайшего года.

Если цель – сохранить персонал, требуется принятие мер по повышению мотивации 1160 человек, их дополнительному стимулированию, вовлечению в деятельность. Если наоборот, маячит перспектива сокращения штата, то потенциальных кандидатов на увольнение нужно выбирать из этих сотрудников. Вроде бы все очевидно, опять цифры говорят сами за себя. Но давайте внимательно посмотрим, откуда взялись эти 1160 человек в «красной» зоне.

Таблица 5. Статистика AI HR

Видно, что из 1160 человек 980 (84,5 %) попали в «красную» зону ошибочно. Они не собирались увольняться в течение ближайшего года. В результате этой ошибки компания или нецелевым образом потратит 84,5% ресурсов на удержание персонала, возможно, это частично окупится в будущем, либо начнет увольнять лояльных людей, приняв их за нелояльных. Предполагается, что точность системы невероятно высока (90%). На практике точность будет гораздо ниже. А теперь представьте, что подобные системы уже используются для выявления склонности к мошенничеству и для определения потенциальных лидеров команд.

Выводы

Статистика – это не ответ с претензией на объективность, а повод для начала разговора. Иными словами, хороший управленческий отчет не заканчивает дискуссию, а начинает ее. Увидев красивую или, наоборот, тревожную цифру, руководитель не должен объявлять приговор на ее основании. Он должен задать себе вопросы:

• Что именно измерили?
• Что осталось за кадром?
• Какие еще сценарии реальности, кроме того, что первым пришел в голову, могут стоять за этими числами?

Объективность в менеджменте – абсолютная иллюзия, но это не должно парализовать управленца. Напротив, это знание должно напоминать руководителю, что только он берет на себя ответственность за выбор той версии реальности, в которой он поведет компанию дальше. Даже с безупречной статистикой на руках интерпретатором все равно остается человек. И ничто, кроме собственного мышления, не может застраховать от ошибки.

Фото в анонсе: magnific.com

Также читайте: