Дойти до сути исследования: что учитывать при построении выборки

За много лет работы в разнообразных маркетинговых проектах – исследовательских, стратегических и коммуникационных, неважно были ли они внутри компании или отдавались агентству, я убедилась, что принципиальным залогом успешной реализации является понимание задач, ради которых этот проект реализовывается.

При этом часто задача исполнителю передается в виде запроса на конкретное действие: нужны фокус-группы с врачами или нужно решить, предлагать ли в рекламном объявлении скидку в ходе кампании в соцсетях. Начинаешь разбираться, для чего эти фокус-группы или какие приоритеты у целевой аудитории, и выясняется, что перед маркетологом стоит много других вопросов, гораздо более важных стратегически. В ряде случаев оказывается, что запрошенное не релевантно, и гораздо эффективнее решить вопросы другими методами.

Исследование для разработки организационной культуры

Однако бывают более сложные случаи, когда методология исследования или коммуникации определяются не только самой задачей, а еще и нюансами ее реализации. В этом случае важно четкое понимание, какие результаты нужны на выходе, каким образом и для чего они будут применены. Хорошим примером для иллюстрации этого является недавний проект, когда ко мне обратились с просьбой помочь в планировании исследования в одной из больниц.

В этой очень крупной, недавно открытой больнице планировалось проведение масштабной кампании по разработке организационной культуры. В связи с этим было решено провести исследование персонала до его начала и по результатам внедрения. Материалы для исследования были определены – подборка тестов на разные показатели, отражающие все уровни, из которых складывается организационная культура: от ценностей персонала до его удовлетворенности и вовлеченности.

Как построить выборку

При подготовке у ответственных за это исследование, по образованию врачей, возник вопрос о построении выборки для опроса. Ресурса для проведения тестов у исследователей хватало максимум на 300 интервью, что обеспечивало покрытие общей совокупности персонала больницы на 25%. Проблема состояла в том, что состав был крайне разнороден, и было непонятно, как учесть все характеристики при формировании выборки.

Так, например, возрастной размах был от 19 до 66 лет, и изначально была идея распределить сотрудников с учетом даже не возрастных различий, а различий поколений, согласно распространенной теории поколений, так как один из тестов (западных) был на ней построен. Сотрудники были представлены 96 видами штатных должностей в 49 подразделениях. Из них только врачебных – 30 специализаций, сестринских – 12, а также фармацевты, административный персонал, маркировщики, тех специалисты и т. д. Их также можно было распределить на четыре категории в зависимости от уровня квалификации. Руководящий состав был представлен еще 32 сотрудниками, и из них опросить необходимо было каждого.

Понимание задачи в этом случае решение не подсказывало и не упрощало, поэтому я стала выяснять, как планируется проводить изменение организационной культуры. Самый быстрый и действенный вариант – это внедрять ее сверху через лидеров, что и собирались сделать. Тогда стало понятно, что в построении выборки нужно, прежде всего, опираться на страты по подчиненности тем или иным руководителям подразделений.

Это определило общий подход, но не очень упростило задачу. Был ряд подразделений, которые не имели руководителей, а некоторые имеющие были очень немногочисленны по составу. Возник вопрос, как распределить на это количество все варианты пересечений специальность/специализация/категория/принадлежность к подразделению, не говоря уже о других характеристиках. Нужно было найти подход, который давал бы возможность укрупнить страты, объединив те или иные категории сотрудников, но без ущерба для репрезентативности. Ведь для замеров, как контрольного (перед кампанией), так и экспериментального (по итогам ее внедрения) было важно, чтобы были собраны мнения представителей каждой из категорий.

Тогда был проведен еще один раунд обсуждения деталей и специфики организации будущей компании по организационной культуре. Было выявлено, что подразделения входят в большие зоны ответственности трех топ-менеджеров этой больницы. Соответственно, с точки зрения последующего внедрения ценностей организации, определения целеполагания и поощрения развития обычаев и ритуалов в работе, целесообразно учесть распределение выборки, в первую очередь, по принадлежности к одной из этих зон. И тогда все выстроилось: в рамках одной зоны ряд подразделений можно было объединить и репрезентовать сообща, а все остальные характеристики учитывать уже как квоты в рамках объединенных страт.

Результаты

В результате пришли к следующим выводам и решениям:

  1. Генеральная совокупность персонала больницы разнородна в связи с принадлежностью к разным возрастным (поколенческим) категориям, различиями по полу, уровню образования и квалификации, принадлежностью к структурному подразделению, специальностью / специализацией, должностью и рядом других не выявленных характеристик (например, стаж работы в целом и в данной больнице, пациентопоток).
  2. В связи с этим, опрос методом случайной выборки (как хотели сделать изначально) привел бы к нерегулируемому смещению данных в сторону каких-либо сегментов персонала, и к нерепрезентативности результатов исследования относительно генеральной совокупности сотрудников больницы.
  3. Обсуждение планируемых результатов исследования, того, как и для чего они будут использоваться, определило приоритетность признака принадлежности сотрудника больницы к той или иной зоне подчинения одному из руководителей высшего звена и к структурному подразделению под руководством того или иного менеджера среднего звена. Причем охват исследованием каждого из руководителей и менеджеров должен был быть максимально возможным.
  4. Для исследования остального персонала больницы выбран метод пропорциональной стратифицированной выборки. Были выделены три основные зоны ответственности и внутри них страты, где страта = отделение. Отделения, не имеющие линейного руководителя, были объединены по принципу подчинения, и пропорция рассчитывалась с учетом этого.
  5. Внутри каждой страты были заданы квоты по подсегментам, соответствующим категории сотрудников: врачи и провизоры, средний + младший медицинский и фарм. персонал, немедицинский персонал и биологи.
  6. Объем выборки внутри каждой страты и квоты рассчитывался пропорционально их количеству в генеральной совокупности персонала больницы, без учета руководителей отделений и топ-менеджеров. Полом и возрастом решено было пренебречь.
  7. Набор сотрудников внутри каждой квоты внутри каждой страты осуществляется случайным отбором. Например, нам нужно отобрать 2 из 7 врачей подразделения, и мы отсчитываем каждый третий кабинет/стол в ординаторской или отбираем по одному врачу в смену, зависит от специфики работы подразделения.
  8. При таком методе построения выборки посчитать ошибку внутри каждого из случайно отобранных множеств в рамках квотной группы в составе страты не представляется возможным и не имеет смысла. Ошибка в целом по выборке, при 95% уровне достоверности составит от 5% для 300 опрашиваемых и 6,4% для 200, что полностью соответствует стандартам социологических исследований в случае нормального распределения. Практически план-расчет построения выборки (с учетом 15% запаса) был реализован в виде интерактивной таблицы Excel. При изменении объема планируемой выборки, все квоты пересчитывались.

Читайте также:

Комментарии
IT-менеджер, Красноярск

Я понял! Это как десизонизация временных рядов. Своим методом построения выборки, вы фактически исключили из совокупности детерминированный фактор административного подчинения и получили свою "шапочку" нормального распределения. Умно! 

Руководитель, Москва

проведение масштабной кампании по разработке организационной культуры. 

А разве она не определна ведомственными нормативами?

Руководитель, Москва

хватало максимум на 300 интервью,

Мне кажется, что это не очень хороший метод - давать социальножелательные ответы люди уже научились

Генеральная совокупность персонала больницы разнородна в связи с принадлежностью к разным возрастным (поколенческим) категориям, различиями по полу, уровню образования и квалификации, принадлежностью к структурному подразделению, специальностью / специализацией, должностью и рядом других не выявленных характеристик (например, стаж работы в целом и в данной больнице, пациентопоток).

Это и без исследования было понятно

привел бы к нерегулируемому смещению данных в сторону

Мне всегда казалось, что если выборка равномерна, то среднее по выборкам будет равно среднему по ансамблю. Чем это при данном исследовании было обсуловлено?

Обсуждение планируемых результатов исследования, того, как и для чего они будут использоваться, определило приоритетность признака принадлежности сотрудника больницы к той или иной зоне подчинения одному из руководителей высшего звена и к структурному подразделению под руководством того или иного менеджера среднего звена

Слишком много существительных подрят. Кто на ком стоял?

до его удовлетворенности и вовлеченности.

А вот это интересно. Что такое в рамках этого проекта вовлеченность и как ее оценивали/измеряли?

Консультант, Украина

Мне напомнило различные рейтинги "независимых агентств". Спасибо, что улыбнули.

 

Researcher, Москва

Есть связанные сущности, которые нельзя рассматривать независимо. Это:

  1. Бизнес-ЦЕЛИ организации
  2. Бизнес ПРОЦЕССЫ достижения ЦЕЛЕЙ.
  3. Организационная структура организации, обеспечивающая исполнение бизнес-процессов
  4. Организационная культура, способствующая эффективному функционирования организационной структуры

В данном моем сообщении я понимаю под организационной культурой следующее:

Организационная культура (ОК) - это система общих ценностей, правил и норм поведения, принимаемых членами организации. Как правило Орг.культура наследует желания, пристрастия и философию основателей.

Получаем как бы спираль развития (деградации?) организации.
1. Основатель формирует ЦЕЛИ организации и уже задает основу ОК исходя из своего опыта, менталитеты, философии…
2. Бизнес процессы разрабатываются "техническими" специалистами с учетом "основы ОК"
3. При разработке Организационной структуры уже следует учитывать как "основы ОК" заданной основателем, так и общей культурой страны, региона, нации, духовных, производственных и общественных достижений людей.
4. В процессе деятельности с учетом всех заложенных ранее факторов ФОРМИРУЕТСЯ самостоятельно Орг.культура организации. Она может и зачастую для новых предприятий ОК не соответствовать либо ЦЕЛЯМ, либо БИЗНЕС-процессам, либо мнению основателя.
5. Делается анализ работы предприятия и выделяются те аспекты, которые следуют из ОК.
6. По результатам анализа переходим к шагам либо 1, либо 2, либо 3.
7. И так "циклим" до достижения гармонии или развала организации.

Это я так долго писал для того, чтобы указать на странности предложенного автором кейса.

  1. Если больница уже работает, то у неё уже сформирована ОК !! Знаем  какая она или нет не играет роли . Она есть по факту работы больницы.
  2. Понять соответствует ли существующая ОК целям из статьи невозможно, и неясно зачем вдруг создавать новую ОК.
  3. Любые исследования персонала с очень малой долей вероятности могут дать ответ на отношение персонала к ОК. Т.е. нравится не нравится. Но при огромной разношёрстности  это ничего не даст. Проблема выборки здесь вторична и статистического анализа бессмысленный в заявленной автором цели такой деятельности.
Генеральный директор, Москва

Дойти до сути исследования ...

Прочитал статью дважды и не понял - почему нельзя было прямо с сути и начать? Зачем так долго до нее доходить?

В чем состояли требования заказчика к проведению исследования - если не секрет? Почему нельзя было провести сплошное анонимное анкетирование?

Оставлять комментарии могут только зарегистрированные пользователи
Статью прочитали
Обсуждение статей
Все комментарии
Дискуссии
Все дискуссии