Как одна неверная цифра ломает всю аналитическую модель

В марте прошлого года аспирант Дмитрий принес мне аналитическую главу диссертации. Тема касалась оптимизации логистических затрат в среднем бизнесе – в этом сегменте у меня достаточно практического опыта, чтобы оценить и расчет, и логику за ним. Работа выглядела зрело: структура выстроена, библиография объемная, расчетная модель оформлена аккуратно. Я просмотрел ключевые выводы, сверил методологию с заявленной целью исследования, задал несколько уточняющих вопросов и дал добро на переход к следующему этапу – подготовке к предварительной защите.

Почему важно проверять первоисточник

Через два месяца, уже при подготовке презентации для комиссии, мы обнаружили, что одна из базовых цифр (средний процент логистических издержек в выручке исследуемых компаний) была взята из источника, который ссылался на другой источник, а тот цитировал отраслевой отчет десятилетней давности. Мы нашли первоисточник и сравнили. Актуальное значение отличалось почти вдвое. Рынок за десять лет изменился, структура затрат сместилась, а цифра осталась жить в цепочке цитирования, как музейный экспонат.

Эта цифра стояла в основании всей расчетной модели. Дальнейшие выводы, таблицы, сценарные расчеты и практические рекомендации строились на ней. Она задавала точку отсчета, от которой зависели пороговые значения и граничные условия каждого сценария.

Почему важно отслеживать актуальность данных

Когда научный руководитель получает аналитический отчет от компетентного исполнителя, он проверяет логику, методологию, связность аргументации, внутреннюю непротиворечивость выводов. Он не пересчитывает каждую цифру в каждой таблице. Это рациональное распределение внимания: руководитель доверяет, что данные верифицированы на предыдущем этапе, а сам сосредотачивается на том, что только он может оценить.

Проблема начинается, когда этого предыдущего этапа верификации данных не существует. Нет протокола, нет чек-листа, нет ответственного за проверку первичных источников. Есть только негласное ожидание, что кто-то уже проверил. Любой руководитель, управляющий группой аналитиков, маркетологов, финансистов или консультантов, узнает эту ситуацию.

В случае с Дмитрием я исходил из того, что он как экономист понимает необходимость актуальных данных. Он, в свою очередь, исходил из того, что источник с индексом РИНЦ, на который он ссылается, уже прошел рецензирование и, следовательно, надежен. Рецензирование источника действительно проверяет методологию автора, но не обновляет устаревшие цифры. Получилась классическая ситуация: каждый участник выполнил свою часть работы корректно, но точка ответственности за актуальность данных осталась ничейной.

Сколько стоит каскадный пересчет

Когда ошибку обнаружили, первая реакция была простой: заменить цифру и пересчитать модель. На практике все оказалось значительно сложнее. Изменился базовый коэффициент, а значит, изменились все производные: пороговые значения по каждому из трех сценариев, граничные условия для рекомендаций, интерпретация чувствительности модели. Три из четырех практических рекомендаций, сформулированных Дмитрием, оказались некорректными – потому что логика строилась на искаженном фундаменте.

Дмитрий потратил около трех месяцев на переделку аналитической главы. Сдвинулся срок предзащиты на осень. Параллельно пришлось переписывать значительную часть методологического раздела, потому что обоснование выбора конкретного инструментария тоже опиралось на пропорцию затрат из того же устаревшего источника. Была затронута даже формулировка одной из гипотез.

Три месяца – это время Дмитрия. Мои издержки: внеплановые консультации, повторные проверки пересчитанных разделов, координация с рецензентом, который уже видел предыдущую версию. В пересчете на рабочие часы это минимум 15-20 часов моего времени, которые можно было бы распределить между другими аспирантами.

Как проверять первичные данные

Это не уникальная ситуация. За годы работы я видел похожие каскады минимум четыре раза, и каждый раз механизм был одинаков. Различался масштаб потерь, но структура проблемы повторялась: непроверенное входное значение проникает в фундамент работы, и его обнаружение на поздних стадиях стоит в разы больше, чем проверка на ранних.

Руководитель, который читает итоговый отчет, проверяет качество мышления, а не качество данных. Это два разных навыка, два разных процесса и, что важно, две разных зоны ответственности. Ожидать, что один человек одновременно оценит архитектуру аргументации и проверит каждый первичный источник, нереалистично.

В корпоративной аналитике это понимают: у данных есть стюарды, у моделей – валидаторы, у отчетов – рецензенты. В экспертной, консалтинговой и исследовательской работе эта граница часто размыта. Человек, который делает расчет, и человек, который проверяет результат, – одно и то же лицо. Или, как в нашем случае, проверки первичных данных нет вовсе.

Как своевременно обнаружить устаревшие данные

После случая с Дмитрием я ввел правило, которое теперь применяю ко всем проектам:

• Каждая ключевая цифра в аналитическом отчете получает карточку: источник, дата публикации источника, цепочка цитирования, если источник вторичный, дата верификации.
• Если цепочка длиннее двух звеньев, автор обязан дойти до первоисточника.
• Ключевое число не считается проверенным, пока исполнитель не зафиксировал первоисточник и дату верификации.
• Ключевыми считаются цифры, на которых строится расчетная модель: базовые коэффициенты, нормативные значения, средние показатели рынка и отрасли, пороговые границы. Не каждое число в работе, а именно те, от которых зависит архитектура выводов.

Правило неудобное. Оно замедляет работу на начальном этапе примерно на неделю. Аспиранты жалуются, что это избыточная бюрократия и что другие руководители такого не требуют. Замечание справедливое: большинство коллег этого действительно не требуют. Но я помню три месяца потерянного времени.

За полтора года после внедрения этого протокола у меня не было ни одного каскадного пересчета. Было несколько случаев, когда находили устаревший или некорректный источник до того, как цифра попала в расчетную модель. Самое раннее обнаружение сэкономило около двух месяцев работы, которые ушли бы на пересборку всей аналитической части. Стоимость ранней проверки – несколько часов. Стоимость позднего обнаружения – месяцы.

Когда протокол проверки данных не сработает

• Правило работает только для ключевых цифр, и определение того, какая цифра ключевая, остается за экспертным суждением руководителя. Если руководитель неверно оценил значимость числа, оно не пройдет проверку. Полностью исключить человеческий фактор этот инструмент не может. Он уменьшает зону неконтролируемого риска, но не ликвидирует ее.
• Протокол требует дисциплины и от самого руководителя. Нужно просматривать карточки и реагировать на красные флаги, а не просто принимать наличие карточки как доказательство проверки. Один раз я поймал себя на том, что просмотрел карточки формально, не вчитавшись. Инструмент без внимания к нему превращается в ритуал.

Выводы

Любая экспертная команда, будь то аналитический отдел, консалтинговая группа, проектный офис или исследовательская лаборатория, работает с данными, которые кто-то собрал и кто-то передал. Каждая передача – точка потенциальной ошибки. Каждое неявное допущение о надежности источника – невидимый риск, который накапливается.

Разделяйте проверку логики и проверку данных. Не ожидайте, что человек, оценивающий качество мышления в вашем отчете, одновременно верифицирует входные данные. Создайте для этого отдельный, пусть и простой, протокол с конкретным ответственным.

Если в вашей команде нет ответа на вопрос «кто проверил эту цифру до того, как она попала в расчет», значит, ее никто не проверил. И это вопрос не к аналитику. Это вопрос к руководителю, который не выстроил процесс.

Также читайте: