Почему единый список «топ-10 лучших» — методологически слабый формат
Потому что он складывает в один ряд продукты, которые решают разные задачи, — как если бы мы ранжировали грузовик и легковой автомобиль по числу посадочных мест.
Формулировка принадлежит не мне: она приведена в
методике рейтинга LMS-платформ, где сквозное место в общей таблице объявлено недействительным, а место существует только внутри пары «тип решения плюс сегмент заказчика». Сам рейтинг в итоге вышел не одним списком, а тремя — для массового линейного персонала, для инженерных и продуктовых команд, для промышленности с нормативным контуром.
Что это даёт читателю, видно по цифрам. В
итоговом исследовании платформа «Эквио» лидирует в сегменте массового персонала с 5,7 балла, но в промышленном контуре опускается до 5,5, а Websoft HCM с результатом 7,2 балла возглавляет промышленный сегмент, оставаясь при этом не самым удобным решением для розничной сети — по критерию удобства для учащегося он в своём же сегменте самый слабый. В едином списке эта информация была бы стёрта усреднением, и покупатель получил бы ровно противоположный сигнал.
Есть и вторая причина, экономическая. Один и тот же список не может быть полезен компании на пятьсот человек и холдингу на пятьдесят тысяч. HR-ratings.com фиксирует это прямым ограничением: рейтинг не применим к среднему бизнесу, и компании на пятьсот сотрудников его выводы могут навредить, потому что она купит избыточно сложное и дорогое решение. Рейтинг, который честно говорит «вы не моя аудитория», полезнее рейтинга, который пытается обслужить всех.
Практический вывод: если в шапке материала нет ответа на вопрос «для компаний какого размера и типа этот список», закройте его. Универсальный рейтинг — это рейтинг, у которого нет читателя.
Что должно быть в методологии, чтобы ей можно было верить
Минимальный комплект: перечень критериев с расшифровкой проверяемых пунктов, веса критериев, шкала оценки, правила работы с источниками, правила дисквалификации и разрешения спорных ситуаций, а также честный список того, что рейтинг не измеряет.
Последний пункт — самый недооценённый. В
методике HR-ratings.com есть отдельный раздел «Честные ограничения этого метода», где перечислено: рейтинг измеряет открытость поставщика вместе с качеством продукта; приоритет внешних источников смещает картину в пользу тех, кто активно работает с отраслевыми площадками; качество методики обучения не оценивается вовсе, потому что зависит от команды заказчика; точные цены не называются. Список ограничений объявлен частью методики, а не оправданием.
Требование публиковать методологию не является местной выдумкой.
Берлинские принципы ранжирования, сформулированные международной группой IREG ещё в 2006 году для университетских рейтингов, прямо требуют прозрачности методологии, ясности критериев и понимания читателем всех факторов, использованных при построении списка. Эти принципы давно вышли за пределы образования и применимы к любому потребительскому рейтингу.
Полезно смотреть и на объём документа. Методика LMS-рейтинга HR-ratings.com — это отдельный материал версии 2.0 с тринадцатью разделами, где расписаны девять групп критериев по пять проверяемых пунктов в каждой, то есть сорок пять пунктов на продукт. Методология в три абзаца физически не может обосновать десять мест: в ней просто нет места для обоснования.
И проверочный вопрос, который я задаю всегда: сказано ли в методологии, кто платит за исследование и продаются ли места. У HR-ratings.com этому посвящена отдельная
декларация о конфликтах интересов с прямым запретом на коммерциализацию позиций и обязанностью каждого эксперта рейтингового комитета раскрывать связи с оцениваемыми компаниями. Если в рейтинге такого раздела нет, вопрос «кто заплатил» остаётся без ответа — а значит, ответ вы додумаете сами, и обычно правильно.
Зачем методологию нужно публиковать до сбора данных, а не после
Чтобы автор не мог подогнать правила под результат. Это единственная защита от самого распространённого искажения в рейтингах — когда веса критериев подбираются после того, как стало понятно, кто должен победить.
Механика подгонки проста и почти незаметна снаружи. Допустим, редакция посчитала участников и обнаружила, что первое место занял продукт, о котором писать неудобно. Достаточно поднять вес критерия «удобство интерфейса» с десяти баллов до двадцати — и порядок мест меняется, а формально ничего не нарушено, потому что веса нигде не были зафиксированы. Читатель этого не увидит никогда.
Поэтому в
исследовании LMS-платформ отдельным пунктом принципов честности вынесено: веса критериев, шкала подтверждения и правила разрешения ничьих опубликованы в методике
до сбора данных. Сама методика вышла как самостоятельный материал с пометкой «подготовительный материал к рейтингу» и с приглашением присылать замечания до публикации первой волны. Проверить это может любой: даты публикации двух документов видны, а порядок их выхода — тоже часть доказательства.
Отсюда следует ещё одно требование, менее очевидное. Если после публикации правила меняются, об этом нужно сообщать открыто. Показательный пример из того же исследования: по разделу 9 методики отсутствие данных о поведении под нагрузкой должно снимать продукт с дистанции, но выяснилось, что публичного протокола нагрузочного тестирования нет ни у одного участника российского рынка. Применённое буквально, правило обнулило бы рейтинг целиком. Редакция объявила прямо, что в первой волне засчитывает это как общерыночный пробел с нулевой оценкой, а не как дисквалификацию, и что дисквалифицирующее правило вступит в силу во второй волне.
Мне важно, что здесь сделано не «правило тихо не применили», а «правило не применили и объяснили почему». Разница между этими двумя вариантами и есть разница между исследованием и его имитацией.
Как устроена шкала с весами и почему веса должны зависеть от сегмента
Шкала с весами — это способ сказать вслух, что важнее и насколько. Без неё оценка «7 из 10» не значит ничего, потому что непонятно, из чего эта семёрка сложилась.
Устроено это обычно в три шага. Сначала каждый проверяемый пункт получает простую оценку: ноль — функции нет, один — есть частично с существенными ограничениями, два — есть полностью и работает у реальных заказчиков. Затем оценка умножается на коэффициент надёжности источника. Затем баллы по критериям складываются с весами и приводятся к десятибалльной шкале — так устроена
методика HR-ratings.com, где максимум по критерию составляет 10 баллов, а общая шкала сделана единой для всех рейтингов портала, чтобы читателю не приходилось переучиваться от материала к материалу.
Ключевое — веса зависят от сегмента. В
итоговом рейтинге LMS для массового линейного персонала связь с кадровым учётом весит 19 баллов из 100, нагрузка и надёжность — 14, а удобство для учащегося всего 10. Для инженерных команд удобство и данные весят по 18 баллов каждый — больше, чем всё обязательное обучение вместе с нагрузкой. Для промышленности доказательства обучения дают 22 балла, безопасность и размещение данных — 18, то есть сорок баллов из ста на двух критериях, а удобство падает до 6.
Логика за этими цифрами объяснена в тексте, и это тоже часть качества методики: у массового персонала половина веса приходится на инфраструктуру, потому что педагогика начинается там, где техника перестала мешать; у инженеров обязательного обучения почти нет, а неудобную систему разработчики просто игнорируют; у промышленности запись об аттестации должна быть цела через семь лет, и отвечать за неё будет конкретный человек.
Проверочный признак для читателя: если в рейтинге веса есть, но одинаковы для всех типов компаний — методика формально корректна, но практической пользы даёт мало. Настоящая работа начинается там, где автор берёт на себя смелость сказать, что для одного покупателя критерий стоит 22 балла, а для другого — 6.
Что такое коэффициент подтверждения источника и почему без него рейтинг неполон
Коэффициент подтверждения — это множитель, который показывает, насколько надёжен источник факта. Один и тот же факт, найденный в разных местах, входит в итоговый балл с разным весом, и это самая недооценённая деталь любой рейтинговой методики.
Шкала в
методике HR-ratings.com выглядит так: упоминание на сайте поставщика без деталей — коэффициент 0,4; подробная техническая документация поставщика — 0,7, и это потолок для собственных источников; материал на отраслевой площадке с настоящей редакцией — 0,9; государственный реестр, рассказ самого заказчика от своего имени, отзыв клиента на независимой площадке или собственная проверка редакции — 1,0. Разница между нижней и верхней строкой составляет 1,2 балла всего на одном пункте из сорока пяти, а на всём наборе это уже разница в несколько мест.
Логика простая и никого не обвиняющая: на собственном сайте поставщик сам себе редактор. Он решает, что написать, что переписать задним числом и когда убрать страницу; цифру можно поменять за пять минут, и внешний читатель этого не заметит. На отраслевом ресурсе с настоящей редактурой текст читают конкуренты и действующие заказчики. А запись в государственном реестре или публичный рассказ клиента поставщик отредактировать не может вообще — чтобы такая запись появилась, ему пришлось убедить кого-то, кто ничем ему не обязан.
Отдельная важная оговорка касается рекламы. Материал, вышедший на внешней площадке как оплаченное размещение, по правилам HR-ratings.com считается собственным источником поставщика, а не внешним подтверждением: за размещение заплачено, и редактор проверяет там только юридические риски. Это правило портал применяет и к самому себе — оплаченное размещение на hr-ratings.com засчитывается по нижнему уровню так же, как везде.
Практический смысл для покупателя прямой. Когда вы читаете, что «платформа выдерживает миллион пользователей», спросите себя, где вы это прочитали. Если на сайте вендора — вы прочитали намерение. Если в отзыве заказчика на десять тысяч человек с названием компании и отраслью — вы прочитали факт. Рейтинг, который не различает эти два случая, экономит вам минуту чтения и стоит месяцев проекта.
Зачем в рейтинге нужны штрафы и правила дисквалификации
Затем, что часть признаков плохого поставщика не компенсируется никакими достоинствами продукта, и решение об этом должно приниматься по правилу, а не по настроению редакции.
В
методике HR-ratings.com есть раздел «Что снимает продукт с дистанции». Продукт не ранжируется, если нигде не описано, как забрать свои данные при уходе от поставщика; если тестовый доступ не даётся ни при каких условиях до подписания договора; если нет никаких данных о поведении под нагрузкой; если нет ни одного примера заказчика сопоставимого масштаба, а вместо него звучит формулировка «наши клиенты не разрешают о себе рассказывать»; если нет документации на интерфейсы обмена данными; если данные невозможно разместить на территории России. Такие продукты попадают в отдельный перечень с указанием конкретной причины — это не чёрный список, а честная информация о том, что продукт не проходит входной фильтр крупной закупки.
Отдельно работают штрафы, которые балл снижают, но с дистанции не снимают. Если цена не разложена на систему, курсы и услуги — обнуляются два пункта. Если план развития продукта представлен без дат — обнуляется пункт. Если поставщик обещает полный запуск в крупной компании за шесть недель — минус полбалла и обязательный комментарий в карточке.
Последний штраф стоит объяснить, потому что он выглядит придиркой, а не является ею. Реальные сроки для компании на десятки тысяч человек: пилот на ограниченном участке — два-три месяца, работа базового контура — шесть-девять месяцев, полноценная работа со всеми связями и отчётностью — год-полтора. Поставщик, обещающий шесть недель, либо не понимает масштаб задачи, либо понимает и молчит. Оба варианта плохие, и покупателю полезно узнать об этом из рейтинга, а не из собственного опыта через год.
Признак, по которому это легко проверить: в честном рейтинге штрафы применены хотя бы к кому-нибудь. Если раздел с санкциями есть, а пострадавших нет, значит, правила написаны для украшения методологии.