В марте прошлого года аспирант Дмитрий принес мне аналитическую главу диссертации. Тема касалась оптимизации логистических затрат в среднем бизнесе – в этом сегменте у меня достаточно практического опыта, чтобы оценить и расчет, и логику за ним. Работа выглядела зрело: структура выстроена, библиография объемная, расчетная модель оформлена аккуратно. Я просмотрел ключевые выводы, сверил методологию с заявленной целью исследования, задал несколько уточняющих вопросов и дал добро на переход к следующему этапу – подготовке к предварительной защите.
Почему важно проверять первоисточник
Через два месяца, уже при подготовке презентации для комиссии, мы обнаружили, что одна из базовых цифр (средний процент логистических издержек в выручке исследуемых компаний) была взята из источника, который ссылался на другой источник, а тот цитировал отраслевой отчет десятилетней давности. Мы нашли первоисточник и сравнили. Актуальное значение отличалось почти вдвое. Рынок за десять лет изменился, структура затрат сместилась, а цифра осталась жить в цепочке цитирования, как музейный экспонат.
Эта цифра стояла в основании всей расчетной модели. Дальнейшие выводы, таблицы, сценарные расчеты и практические рекомендации строились на ней. Она задавала точку отсчета, от которой зависели пороговые значения и граничные условия каждого сценария.
Почему важно отслеживать актуальность данных
Когда научный руководитель получает аналитический отчет от компетентного исполнителя, он проверяет логику, методологию, связность аргументации, внутреннюю непротиворечивость выводов. Он не пересчитывает каждую цифру в каждой таблице. Это рациональное распределение внимания: руководитель доверяет, что данные верифицированы на предыдущем этапе, а сам сосредотачивается на том, что только он может оценить.
Проблема начинается, когда этого предыдущего этапа верификации данных не существует. Нет протокола, нет чек-листа, нет ответственного за проверку первичных источников. Есть только негласное ожидание, что кто-то уже проверил. Любой руководитель, управляющий группой аналитиков, маркетологов, финансистов или консультантов, узнает эту ситуацию.
В случае с Дмитрием я исходил из того, что он как экономист понимает необходимость актуальных данных. Он, в свою очередь, исходил из того, что источник с индексом РИНЦ, на который он ссылается, уже прошел рецензирование и, следовательно, надежен. Рецензирование источника действительно проверяет методологию автора, но не обновляет устаревшие цифры. Получилась классическая ситуация: каждый участник выполнил свою часть работы корректно, но точка ответственности за актуальность данных осталась ничейной.
Сколько стоит каскадный пересчет
Когда ошибку обнаружили, первая реакция была простой: заменить цифру и пересчитать модель. На практике все оказалось значительно сложнее. Изменился базовый коэффициент, а значит, изменились все производные: пороговые значения по каждому из трех сценариев, граничные условия для рекомендаций, интерпретация чувствительности модели. Три из четырех практических рекомендаций, сформулированных Дмитрием, оказались некорректными – потому что логика строилась на искаженном фундаменте.
Дмитрий потратил около трех месяцев на переделку аналитической главы. Сдвинулся срок предзащиты на осень. Параллельно пришлось переписывать значительную часть методологического раздела, потому что обоснование выбора конкретного инструментария тоже опиралось на пропорцию затрат из того же устаревшего источника. Была затронута даже формулировка одной из гипотез.
Три месяца – это время Дмитрия. Мои издержки: внеплановые консультации, повторные проверки пересчитанных разделов, координация с рецензентом, который уже видел предыдущую версию. В пересчете на рабочие часы это минимум 15-20 часов моего времени, которые можно было бы распределить между другими аспирантами.
Как проверять первичные данные
Это не уникальная ситуация. За годы работы я видел похожие каскады минимум четыре раза, и каждый раз механизм был одинаков. Различался масштаб потерь, но структура проблемы повторялась: непроверенное входное значение проникает в фундамент работы, и его обнаружение на поздних стадиях стоит в разы больше, чем проверка на ранних.
Руководитель, который читает итоговый отчет, проверяет качество мышления, а не качество данных. Это два разных навыка, два разных процесса и, что важно, две разных зоны ответственности. Ожидать, что один человек одновременно оценит архитектуру аргументации и проверит каждый первичный источник, нереалистично.
В корпоративной аналитике это понимают: у данных есть стюарды, у моделей – валидаторы, у отчетов – рецензенты. В экспертной, консалтинговой и исследовательской работе эта граница часто размыта. Человек, который делает расчет, и человек, который проверяет результат, – одно и то же лицо. Или, как в нашем случае, проверки первичных данных нет вовсе.
Как своевременно обнаружить устаревшие данные
После случая с Дмитрием я ввел правило, которое теперь применяю ко всем проектам:
- Каждая ключевая цифра в аналитическом отчете получает карточку: источник, дата публикации источника, цепочка цитирования, если источник вторичный, дата верификации.
- Если цепочка длиннее двух звеньев, автор обязан дойти до первоисточника.
- Ключевое число не считается проверенным, пока исполнитель не зафиксировал первоисточник и дату верификации.
- Ключевыми считаются цифры, на которых строится расчетная модель: базовые коэффициенты, нормативные значения, средние показатели рынка и отрасли, пороговые границы. Не каждое число в работе, а именно те, от которых зависит архитектура выводов.
Правило неудобное. Оно замедляет работу на начальном этапе примерно на неделю. Аспиранты жалуются, что это избыточная бюрократия и что другие руководители такого не требуют. Замечание справедливое: большинство коллег этого действительно не требуют. Но я помню три месяца потерянного времени.
За полтора года после внедрения этого протокола у меня не было ни одного каскадного пересчета. Было несколько случаев, когда находили устаревший или некорректный источник до того, как цифра попала в расчетную модель. Самое раннее обнаружение сэкономило около двух месяцев работы, которые ушли бы на пересборку всей аналитической части. Стоимость ранней проверки – несколько часов. Стоимость позднего обнаружения – месяцы.
Когда протокол проверки данных не сработает
- Правило работает только для ключевых цифр, и определение того, какая цифра ключевая, остается за экспертным суждением руководителя. Если руководитель неверно оценил значимость числа, оно не пройдет проверку. Полностью исключить человеческий фактор этот инструмент не может. Он уменьшает зону неконтролируемого риска, но не ликвидирует ее.
- Протокол требует дисциплины и от самого руководителя. Нужно просматривать карточки и реагировать на красные флаги, а не просто принимать наличие карточки как доказательство проверки. Один раз я поймал себя на том, что просмотрел карточки формально, не вчитавшись. Инструмент без внимания к нему превращается в ритуал.
Выводы
Любая экспертная команда, будь то аналитический отдел, консалтинговая группа, проектный офис или исследовательская лаборатория, работает с данными, которые кто-то собрал и кто-то передал. Каждая передача – точка потенциальной ошибки. Каждое неявное допущение о надежности источника – невидимый риск, который накапливается.
Разделяйте проверку логики и проверку данных. Не ожидайте, что человек, оценивающий качество мышления в вашем отчете, одновременно верифицирует входные данные. Создайте для этого отдельный, пусть и простой, протокол с конкретным ответственным.
Если в вашей команде нет ответа на вопрос «кто проверил эту цифру до того, как она попала в расчет», значит, ее никто не проверил. И это вопрос не к аналитику. Это вопрос к руководителю, который не выстроил процесс.
Также читайте:
это целесообразно делать при любом маркетинговым анализом, часто там много пурги, увы...
Странная статья. Руководитель с достаточным прикладным опытом не заметил число десятилетней давности, которое радикально (!) поменяло логику (!) расчета и заставило аспиранта потерять квартал на переделку сутевой части. Очень согласен с последним предложением статьи. Я вижу здесь классический случай слабого научного руководства, вопрос - зачем это "светить" публично?
В отношении чисел: если выводы делаются на основании старой статистики, но при этом корректны в рамках использованной библиографии, это не считается ошибкой. Очень многих деталей не хватает, но я по тексту считываю большое количество "красных флагов" , которые отличают монетизацию табеля учета рабочего времени преподавателя от профессиональной организации исследовательской работы аспиранта научным руководителем.
это академическая сфера и формально к бизнес задачам не имеет линейного отношения.
Я увидел в анонсе мнение автора, что такую "лучшую практику" исследователей можно рекомендовать руководителям бизнеса. "Минуй нас пуще всех печалей..."
Текст радует открытостью и честностью обсуждения одной из очевидных проблем.
Я был уточнил: если какая-то работа (в случае статьи научная) настолько чувствительна к чужим и не самым актуальным данным из единственного источника, что в случае объективных сомнений очень многое приходится переделывать, что можно и нужно делать в этом случае? Можно ли поменять подход на ранней стадии?
Дело даже не в том, кто формально отвечал за какой источник или цифру в нём. Garbage In - Garbage Out. Если данные нельзя перепроверить и подтвердить их качество, тем более - собрать их еще раз, нужно ли вообще продолжать такие работы или сразу начинать искать другие способы достижения желаемого результата.
Вполне нормально, если данные и какие-дибо выводы устарели по естественным причинам, лишь бы они были корректными в момент сбора. В экономике СССР многое десятилетиями сравнивалось с 1913г. как с последним предвоенным. Но то, что дальше с ними делают другие и как именно используют, целиком зависит от исследователя (если это наука в случае статьи) или, скажем, аналитика, который с этими данными работает.
Пример из реальности наших дней:
Первичными данными при проведении клинических испытаний новых лекарств и препаратов являются, в частности, карты пациентов, Они заполняются вручную врачами медучреждений, участвующими в испытаниях. Протоколы и правила испытаний достаточно формальные и строгие, они известны заранее. Но при профессиональной статистической обработке полученных заполненных карт обычно видно, какие данные просто не могли быть в реальности и были введены их произвольные значения. Такие карты использовать нельзя.
Проблема в том, что других - правильных - данных уже не будет. И можно отфильтровать слишком много. Клинические испытания придётся проводить повторно.
Согласен. Акцент сделан на данных, а я вижу дефект во всем процессе: постановка задач, генерация гипотез, митигация модельных рисков - все это должно курироваться научным руководителем на ранних стадиях, а не в момент предзащиты. "Игры с цитатами" - не более чем попытка перевести вектор ответственности. Мне искренне жаль Дмитрия, которому довелось обмакнуться в научное руководство такого сорта.
В части рекомендаций для бизнеса можно было бы предложить посмотреть курс философии науки, но минимально хватило бы и курса статистики. Научная работа должна обосновать новизну, ее формулировка подчиняется общенаучным принципам, которые могут быть не всегда сразу понятны учащимся. Научная школа призвана исправить это именно через механизм кураторства.
Бизнес же курирует собственник, в эффективном своем проявлении он с неизбежностью станет проверять источники информации. С большой вероятностью может и нанять риск-менеджеров.
У меня, возможно, даже более общий вопрос.
Должен ли исследователь ориентироваться только на робастные модели, менее чувствительные к условно небольшим изменениям входных данных, или - в зависимости от темы исследования - уделять особое внимание границам применимости и прямо указывать, что всё, что доказано, подтверждается только для вот такого диапазона изменений данных.
Представьте себе дорогой сетевой электроприбор, который (... или его сверхчувствительный блок питания ...) выходит из строя при самом минимальном изменении входного напряжения. Или дорогой музыкальный усилитель, в схемотехнику которого конструкторы не заложили отрицательную обратную связь для борьбы с помехами и искажениями входного сигнала.
В примере, с которого начинается статья, упоминается логистика. Любопытно, о чём была сама диссертация. если с используемыми в ней данными возникла настолько серьёзная проблема.
В норме исследователи должны оценивать модельный риск - риск применения ненадежных и/или невалидных моделей, чтобы обеспечить качество результатов. Например, Московская биржа публикует кривую бескупонной доходности от 3 месяцев. Вопросов по данным не возникает, но если мы попробуем экстраполировать данные на более короткий период, получится явная ерунда - именно из-за невалидности модели.
В рассматриваемой статье обсуждаются логистические издержки, причем среднего бизнеса. Как вообще оказалась возможна ситуация разрушения логики - это отдельный вопрос. Цунами в пруду обычно не происходят. Что-то подсказывает мне, что многое осталось за кадром. Возможно, детали еще проявятся.
Кто может подтвердить с научной точностью, что достаточно сложная финансовая модель надёжна? Торговые стратегии, насколько я знаю после бесед с их разработчиками, на практике пересматриваются достаточно редко, если это возможно - слишком дорогое удовольствие и зыбкая почва. А - в общем случае - история LTCM научила многих.
Но в случае примера их статьи мы говорим не о финансовых данных со всеми их особенностями и финансовых моделях. Могу ошибаться.
Да, полностью согласен. Логика должна сохраняться.
Логистики заранее предполагают, что неприятности могут происходить чаще, чем хотелось бы, и стараются планировать с запасом с учётом контрактных штрафов за нарушение сроков. Реальных данных у них сколько угодно, они обновляются в реальном времени, и фактические значения как угодно отличаются от прогнозных. Вспомним, как работала глобальная логистика во время короны.
Сейчас пробуют, иногда успешно, использовать AI. Посмотрим, вдруг поможет.
На практике модели тестируются как в рамках прошлых периодов, так и в рамках форвардного тестирования (на новых данных), затем - через процедуру кросс-валидации. Таким образом, можно получить только эмпирические оценки, однако при множестве тестов распределение результатов нормализуется. Итоги соотносятся с теоретическими предпосылками и ожидаемым результатами.
В отношении обучения моделей - зависит от конкретного их дизайна: бОльшая часть моделей статична, но в последние годы распространились и самообучающиеся модели, которые могут сканировать параметры рынка по ходу работы и оптимизировать их, но в заданных рамках. Особенно характерно это для статистического арбитража - как раз того, на котором "прогорел" LTCM: не предполагали Нобелевские лауреаты логичности дефолта по внутреннему долгу.
В контексте статьи мы говорим о логистике - очень ограниченной области бизнес-задач, сложность которых кратно ниже вариативности финансовых моделей. И данные там из бизнеса, не с биржевого терминала. Как максимум получится транспортная задача с "пристройками" на удельные переменные издержки.