Чек-лист: как выбрать провайдера инструментов психодиагностики сотрудников

Успех бизнеса во многом зависит от качества работы сотрудников ― их способностей, отдачи, вовлеченности. Поэтому все больше компаний пристальное внимание уделяют личностным качествам, которые становятся все важнее для продуктивности сотрудников. Личностные особенности часто определяют насколько успешно человек справляется с работой. Если его поведенческий тип и система ценностей-мотиваторов соответствуют работе ― он вовлечен и продуктивен, если нет ― увы.  Поэтому во многих компаниях все чаще применяют инструменты психодиагностики персонала.

При выборе инструментов психодиагностики сотрудников для системного управления бизнесом часто возникают вопросы: 

  • Насколько инструменты валидны? 
  • Насколько иностранные тесты адаптированы и нормированы для России?
  • Как их применять при отборе и развитии кадрового резерва, для оценки компетенций?

Бывает возникают и неадекватные комментарии. И это понятно ― до сих пор этот рынок недоразвит и даже профессиональным кадровикам в нем трудно разобраться из-за соседства совершенно контрастных по качеству и стоимости инструментов личностной диагностики. 

Я искренне сочувствую HR, даже специализированное психологическое образование не спасает от обидных ошибок. А еще нужно не только самому понимать, но и суметь обосновать руководителю свой выбор.

А что вообще важно, когда мы говорим про применение психологической диагностики или психотехнологий в организации? 

Поделюсь своим списком критериев выбора поставщика технологий оценки.

1. Защита персональных данных 

Психодиагностические онлайн-тесты ― это обработка персональных данных, которые следует защищать особенно тщательно. В России действует закон «О персональных данных» от 27.07.2006 N 152-ФЗ. 

В Евросоюзе ― Общий регламент Европейского Союза о защите данных ― GDPR. Если компания планирует проводить оценку сотрудников и в Европе, то нужно выбирать провайдера, который соблюдает нормы GDPR.

Что спросить

  1. Как провайдер соблюдает ФЗ РФ N 152?
  2. Какие меры для защиты персональных данных применяет провайдер? 
  3. Как хранит персональные данные? 
  4. Находится ли сервер на территории РФ? Насколько он защищен?
  5. Как соблюдаются нормы GDPR (если необходимо)?

2. Лицензионная и патентная чистота  

Кем разрабатывались инструменты ― в какой лаборатории, каким коллективом, какие научные теории легли в основу? Лицензированы ли инструменты? 

Это как в случае с любым программным обеспечением: нелицензионный софт, если это не онлайн SaaS, технически возможно установить на компьютер, но вот кто даст гарантии правильности и безопасности работы? 

Что спросить

  1. Кому принадлежит авторское право на инструмент? На его использование?
  2. Какой статус провайдера на территории оказания услуг ― официальный дистрибьютор, сублицензиат и т. д.? Какие документы это подтверждают?   
  3. Какие есть патенты, лицензии, уникальные разработки? 

Чем больше фактических подтверждений своей деятельности, в том числе исследований представит провайдер ― тем лучше. 

3. Работоспособность инструментов  

Валидность и надежность

Надежность инструментов ― обязательное условие. Никто не покупает на барахолке медикаменты «на вес», не глядя ― вряд ли кто-то готов рискнуть здоровьем. 

Один из инструментов определения надежности ― вычисление коэффициента α-Кронбаха. 

Альфа Кронбаха (α)

Надежность инструмента 

α ≥ 0.9

отличная 

0.8 ≤ α < 0.9

хорошая

0.7 ≤ α < 0.8

адекватная 

0.6 ≤ α < 0.7

приемлемая

0.5 ≤ α < 0.6

слабая 

α < 0.5

неприемлемая 

Особо щепетильные провайдеры проводят еще тест-ретестовый анализ ― повторное исследование ответов одних и тех же людей того же теста через некоторое время.  

Чем больше таких исследований в техническом отчете об инструменте, тем лучше. 

Какие еще методы оценки надежности применяют? 

  1. Анализ пригодности заданий по двум параметрам: дискриминативности и трудности заданий. 
  2. Анализ внутренней валидности по средней корреляции между отдельными заданиями по каждой шкале. 
  3. Анализ внутренней валидности по исправленной корреляции «значения по отдельному пункту ― значения по шкале в целом» по каждой шкале. 
  4. Оценку внутренней согласованности как меры надежности по коэффициенту ω МакДональда.
  5. Оценка комбинации надежности и валидности на основе модели конфирматорного (подтверждающего) факторного анализа (CFA) с одним фактором.                                                        

Нормированность для национального рынка  

У иностранного провайдера следует выяснить, проводилась ли работа по нормированию на русском языке. 

1. Для нормирования нужно провести тестирование репрезентативной группы и статистически определить частоту определенных ответов. Если тест обкатывался на студентах, то для руководителей в бизнесе он может не подойти.  

2. Нормы должны быть определены на большой индустриальной выборке ― от 500 человек, а не малых выборках для дипломной работы студента в 50 человек. 

3. Важно, чтобы от перевода отчета не коробило, смысл фраз был понятен предельно четко. Кривой перевод ― не просто неудобство, это риск получить недостоверные результаты. 

Что спросить 

  1. Валидность и надежность инструмента? Как это проверялось? Какие есть технические отчеты? 
  2. Если провайдер иностранный ― проводилось ли нормирование для национального рынка? 
  3. У иностранного провайдера попросите прислать образец востребованного отчета, который давно применяется на рынке, чтобы оценить уровень качества и культурной адаптации перевода.

4. Практичность и применимость в бизнесе 

Какими бы наукоемкие исследования и разработки ни были, если их не применять «в бою», методики остаются лишь теоретическими гипотезами.  

Правильный отчет не тот, где много данных, а тот, где нет ничего лишнего, где информация рассортирована по ее применимости для повседневной работы: управления, бизнес-тренингов, коучинга, мотивации, коммуникации и др. 

Бланки, программы на флешках ― прошлый век. У провайдеров, которые серьезно вкладываются в прикладное применение инструментов, есть онлайн-решения как для прохождения опросников, так и для генерации отчетов.  

Часто случается, что провайдеры обучают методу или инструменту, а как применять ― разбирайтесь сами. Даже опытному HR бывает неочевидно, где и как эффективно применить инструмент: для кадрового резерва, для подбора, для обучения, развития руководителей, продавцов, коучинга, для работы с корпоративной культурой или где-то еще и как-то еще?  

Это говорит о том, что либо у провайдера недостаточно собственного опыта, либо этот опыт пока еще только иностранный. Вокруг инструмента оценки должна быть сформирована «экосистема», которая переводит методику оценки в решение практических задач. 

Нет руководств по интерпретации отчетов, методических материалов, обучающих функциональных вебинаров, слайдов? Вы будете вынуждены разрабатывать их годами сами.

С одной стороны, универсальность инструмента ― это хорошо. Но! У руководителей и HR-специалистов часто появляется искушение одним психодиагностическим тестом или типологией измерять все и всех. Возможно поэтому многие провайдеры разрабатывают и доводят до совершенства только один тест и продают его на все случаи жизни — от полипа и от гриппа. 

Но, нет одной универсальной методики психодиагностики, которая бы хорошо исследовала все слои личности ― человек слишком многогранен. Но каждая методика имеет свой четкий круг задач, которые она умеет решать лучше других.

Выходом из ситуации станет модульность и гибкость. То есть ― возможность варьировать набор для исследования разных срезов личности и получать интерпретацию результатов под задачу. Например, для найма линейного персонала подойдет короткая базовая версия, а при отборе топ-менеджмента или редких специалистов лучше изучить несколько сегментов личности. Это дороже, но оно того стоит, когда на кону риск нанять не того человека на крайне чувствительную должность. 

Оптимально, если в арсенале провайдера есть несколько разных инструментов, которые исследуют разные слои личности, имеют модульную структуру, т. е. можно добавлять или убирать модули по необходимости. И при этом легко совмещать все инструменты друг с другом. 

Иногда тесты требуют много часов на заполнение вопросников или на обработку результатов. Это делает их неприменимыми для скоростей бизнеса. Вопросники должны быть краткими. Идеально, чтобы время заполнения не превышало 10 минут для измерения одного личностного среза. 

Что спросить 

  1. Для чего разработан инструмент: для бизнеса или для психолога-эксперта? 
  2. Запросите образец отчета, который наиболее востребован клиентами и оцените:
    - бизнес-языком написан отчет или психологическими терминами;
    - структуру отчета, распределение информации по разделам для решения типичных задач.
  3. Сколько инструментов в арсенале провайдера? Для чего ― какие конкретно задачи в HR-процессах компании помогают решать?
  4. Адаптирован ли инструмент для практики: есть ли поддерживающие материалы, гайды, методички и т. д. 
  5. Сколько времени уходит на заполнение опросника по одной методике? Если больше 10-15 минут, почему? Не дублируют ли вопросники друг друга?
  6. Как происходит заполнение опросника и генерация отчета: онлайн или офлайн?

5. Функционал управления талантами

Крайне важный момент ― позволяет ли система провайдера автоматически анализировать массивы психометрических данных, чтобы генерировать сводные или сравнительные отчеты ― они незаменимы для функции управления талантами сотрудников.  

Оценить каждого сотрудника или кандидата даже самым продвинутым инструментом ― полдела.  Но ведь нужно как-то сравнить кандидатов друг с другом или с эталонным профилем должности, сделать выборку по нужным качествам. Обычным «экселем» автоматизировать и усовершенствовать отбор в организации, поставить его на поток, массово создавать планы развития резервистов технически невозможно. 

Что спросить

  1. Позволяет ли система провайдера анализировать массивы данных? 
  2. Какие сравнения, сопоставления, группировки существуют для анализа личностных качеств коллектива

Пример страницы командного отчета. Сравнительный командный отчет  помогает получить наглядную карту команды, увидеть сильные места и зоны роста команды и выработать план действий

  Пример страницы отчета “Групповое сравнение респондентов с требованиями должности”. Помогает определить кто из кандидатов по личностным компетенциям  больше подходит для данной должности .  Источник фото: ttisi.ru6. Качество обслуживания провайдером 

Без качественного сервиса провайдера работа с ним может превратиться в муку. Как быстро провайдер реагирует? Насколько охотно идет навстречу в мелочах: бесплатно консультирует, подсказывает, делится документами и нужной информацией, дает попробовать демоверсию инструментов и т. д?  У HR в работе возникает много непростых вопросов, но со счетом за каждое обращение к гендиректору не пойдешь. 

Что спросить

  1. Насколько быстро провайдер реагирует на запросы? 
  2. Какое качество и объем консультации перед продажей услуги?
  3. Охотно ли даются бесплатные консультации?
  4. Как проходит послепродажное обслуживание клиента?  
  5. Провайдер консультирует только по инструментам или предлагает решения с применением инструментов?

7. Качество обучения инструментам и передачи технологий в in-house 

Хорошие психологические инструменты не бывают настолько простыми, чтобы им не нужно было обучаться. Все провайдеры организуют обучение, некоторые даже сертифицируют на применение. Но некоторые ухитряются обучать и даже сертифицировать всего лишь за один день. 

Практика показывает, что научиться эффективно пользоваться инструментами психодиагностики можно только поэтапно: 

  • Изучить теорию метода, понять его принципы и основы, как работает вопросник, границы применимости, технологию проведения тестирования и обработки результатов.
  • Затем понять, как интерпретировать полученные результаты, что и почему включается в отчет, как правильно читать формулировки и доносить до респондента.
  • После этого получить обширное понимание ― как применять технологию диагностики и интерпретации результатов в бизнесе, HR процессах.
  • Получить устойчивый навык полезного применения в работе и ответов на трудные вопросы. 

Что спросить 

  1. Какое качество, объем теоретических и практических материалов есть у провайдера для обучения технологии?
  2. Есть ли консультационная поддержка после обучения? Как проходит: платно или бесплатно, в каком объеме? 
  3. Проводятся ли после основного курса практические вебинары, мастер-классы, разборы применения инструментов? Как проходят ― платно или бесплатно? Как часто? В каком объеме?
  4. Какие отзывы от обучения?

8. Репутация и известность компании на рынке 

Провайдеров, которых откровенно ругают на этом рынке пока очень мало. Худшая репутация ― когда компания не на слуху. Это потому что ее услугами не пользуются. Если нет практической работы, значит, работоспособная система пока не выстроена. 

Чем о большем количестве фактов о деятельности провайдера, конкретных кейсах, и даже «хейтерах» известно ― тем лучше.

Что спросить 

  1. Сколько лет работает на рынке разработки инструментов для психодиагностики? 
  2. Сколько лет работает на российском рынке? В каких еще странах работает? На скольких языках? 
  3. Кто клиенты? Сколько их? Какие задачи решал провайдер для этих клиентов?
  4. Есть ли отзывы? Где их можно увидеть? 
  5. Есть ли профессиональные рейтинги? Входит ли в них провайдер? 

Проверка провайдера по этому чек-листу поможет сэкономить время и не допустить явных ошибок. Идеально, если у вас есть возможность для начала испробовать все на себе — пройти самим диагностику, получить интерпретацию, «погонять» консультанта по вопросам, на предмет полезности для бизнеса, затем хотя бы немного поучиться у провайдера. Серьезные поставщики охотно демонстрируют возможности своих технологий и дают развернутые консультации и иногда даже бесплатно обучают.

Читайте также:

В вашей компании проводят психодиагностику сотруднику?
Проголосовать и увидеть результаты опроса могут только зарегистрированные пользователи
Расскажите коллегам:
Комментарии
Руководитель, Москва
Василий Пигин пишет:
Здесь не соглашусь ― не у всех. Качественные провайдеры щепетильны на этот счёт: в технических отчётах обычно не одно исследование приводят.  Кроме валидности, надёжности и тест-ретестового анализа есть разные модели и статистические процедуры. 

Так почему тогда качество прогнозов снизилось на порядок? Даже по тем же ЭкзитПулам? 
Мое объяснение - что люди умеют отвечать, так как хотят что бы восприняли их ответы.. 
ЗЫ, повышение качества тестов будет вести за собой повышение и качества устремлений тестируемых.. И создание еще одной индустрии.. Собственно сейчас уже соервнуются не столько кандидаты, сколько карьерные консультанты.. Если так дальше пойдет - то и тесту будут проходить не кандидаты и сотрудники  - а специалисты по подготовке к тестам.. 

Генеральный директор, Москва
Роман Крячко пишет:

Многоуровневый юмор в таблице зашкаливает, как и наукообразие. 

Роман, спасибо за реакцию, живая реакция лучше на статью, чем никакая. Вопрос, ну, вот вы пришли к выводу о "зашкаливании наукообразности". Много людей как раз говорят о прагматичности этих отчетов. Жаль, что вам он показался наукообразным. А как, по вашему мнению выглядит не наукообразный отчет? Можете описать конкретными тезисами?

Генеральный директор, Москва
Евгений Равич пишет:
Василий Пигин пишет:
Какие задачи решал провайдер для этих клиентов?

Если мы сократим вопросы до одного: как можно понять - со стороны - чего, собственно, добились заказчик и исполнитель? Что именно дала их совместная работа?

А если не сокращать? Какие бы еще вопросы вы задали?

Руководитель, Москва
Василий Пигин пишет:
А как, по вашему мнению выглядит не наукообразный отчет? Можете описать конкретными тезисами?

ну.. Как текст, написанный словами, которые используются в художественной классической литературе.. 

Генеральный директор, Москва
Василий Пигин пишет:
Евгений Равич пишет:
Василий Пигин пишет:
Какие задачи решал провайдер для этих клиентов?

Если мы сократим вопросы до одного: как можно понять - со стороны - чего, собственно, добились заказчик и исполнитель? Что именно дала их совместная работа?

А если не сокращать? Какие бы еще вопросы вы задали?

Если мы не знаем, что является результатом работы для заказчика, доволен ли заказчик полученным, и какие полезные для себя выводы заказчик сделал после проведенного тестирования - то больше вопросов нет.

Объем и прочие детали проделанной провайдером работы мне не так интересны. 

2
Оставлять комментарии могут только зарегистрированные пользователи
Статью прочитали
Обсуждение статей
Все комментарии
Дискуссии
Все дискуссии
HR-новости
Треть профессионалов не доверяют своему руководству

Специалисты меньше, чем руководители и директора, склонны к доверию.

Зарплатные ожидания IT-специалистов превышают возможности работодателей в 1,5-2 раза

Общий рост зарплат в IT-сфере за первые 9 месяцев 2023 года составил 15-20%.

Россияне стали меньше тревожиться из-за работы

Год назад уровень тревожности россиян по поводу различных возможных проблем на работе был выше.

Уровень счастья напрямую влияет на продуктивность большинства россиян

При этом почти каждый четвертый респондент считает, что их руководитель ничего не делает для счастья сотрудников.