Есть ли эффект
от AI-трансформации?

Исследование смешанное: количественный опрос даёт цифры и доли, глубинные интервью объясняют, почему цифры такие, внешние данные проверяют самоотчёт на прочность.

Вопрос о коммерческом эффекте задан обеим сторонам в одинаковых формулировках. Компания отвечает, что ей дало внедрение, специалист отвечает то же самое про свою работу. Расхождение между двумя ответами становится отдельным результатом исследования.

Выборку компаний мы набираем по квотам: доли по нишам и по обороту заданы заранее и держатся до конца поля. Специалисты попадают в опрос через прямое приглашение и через каналы партнёров.

Выборка целевая, вероятностного отбора здесь нет. Поэтому мы говорим о связях внутри выборки и распространяем выводы на изученный сегмент МСБ с оговорками, которые выносим в отчёт.

Компанию мы спрашиваем о показателях за 12 месяцев до внедрения и за 12 месяцев после:

• выручка и валовая маржа;
• выручка на одного сотрудника;
• прямые затраты на ИИ — лицензии, инфраструктура, обучение, зарплатная надбавка;
• время на конкретный процесс до и после;
• численность в подразделении, где внедряли.

Дальше мы повторяем приём Атланты: сравниваем прирост производительности, который руководитель называет словами, с приростом, который получается из его же цифр по выручке и занятости. Разрыв между этими двумя величинами и есть главная метрика исследования.

Отдельно мы фиксируем, ставила ли компания измеримую цель до внедрения и с какой точкой отсчёта она сравнивает результат сейчас. Компании без точки отсчёта попадают в отдельную группу и в расчёт эффекта не идут.

Анкета специалиста занимает пять минут и состоит из восьми вопросов:

• профессия и индустрия — заполняются текстом, кодируем их вручную после поля;
• уровень владения ИИ по трёхступенчатой шкале: чаты, сборка сайтов и прототипов, кодинг с автоматизациями и агентами;
• число проектов в работе — от одного места в найме до собственного агентства;
• доход на руки в месяц — вилкой на общей шкале от 50 тысяч до 1,2 млн ₽;
• рост дохода после освоения ИИ — шкала от 0 до 300%;
• эффект от освоения ИИ и коммерческий эффект — наборы утверждений с возможностью отметить несколько и дописать своё;
• свободный ответ о том, как ИИ повлиял на работу — необязательный, его можно пропустить.

Главная группирующая переменная — уровень владения ИИ. Доход, число проектов и отмеченные эффекты мы сравниваем между тремя ступенями, и это отвечает на вопрос, окупается ли для человека переход на следующий уровень.

Занятость в нескольких проектах видна из вопроса о числе проектов, и по нему же мы отделяем теневую мультизанятость от работы в одной компании.

Усталость и выгорание мы собираем самоотчётом: двумя утверждениями в списке эффектов. Это даёт долю людей, которые называют состояние сами, и не заменяет клиническую диагностику.

Мы считаем медианы и квартили. Средние в выборке из ста компаний перекашивают два-три крупных участника, поэтому медиана честнее.

Доход специалисты указывают вилкой, поэтому в расчёт идёт середина указанного интервала, а ширину вилки мы храним отдельно как меру неуверенности ответа. Рост дохода — самооценка по шкале, и мы публикуем её распределение целиком, чтобы был виден разброс, а не одна усреднённая цифра.

Различия между группами мы проверяем критерием Манна—Уитни для чисел и критерием хи-квадрат для долей. Значимым считаем результат при p < 0,05.

Для долей мы публикуем доверительные интервалы. При выборке в 100 компаний интервал достигает ±10 процентных пунктов, при выборке в 300 специалистов — ±6. Все проценты в отчёте идут вместе с этой погрешностью.

Интервью полуструктурированные, по единому гайду, продолжительность 45—60 минут. Расшифровки мы кодируем тематически: два исследователя кодируют независимо, спорные фрагменты разбирают вместе. Цитаты в отчёт идут обезличенными.

Анкета не спрашивает имя, работодателя и контакты. Люди признаются во второй занятости только тогда, когда уверены, что их не вычислят.

Приглашение и ответы хранятся раздельно, связать их невозможно. Персональные данные мы не собираем и публикуем обезличенный массив.

Внешние массивы нужны, чтобы проверить самоотчёт объективными данными.

Мы берём вакансии и резюме за 24 месяца и размечаем их по словарю ИИ-требований: названия инструментов, формулировки задач, упоминания промптов и агентов. Словарь мы собираем вручную, размечаем выборку из 300 объявлений в две пары рук и считаем согласованность разметки.

По размеченному массиву мы смотрим три вещи: как менялась доля вакансий с требованием ИИ-навыков по месяцам, какова разница в зарплатных вилках между вакансиями с этим требованием и без него, и сколько дней вакансия остаётся открытой в каждой группе.

Полученные цифры мы сверяем с тем, что компании и специалисты сказали о себе в анкетах. Расхождения выносим в отчёт отдельным разделом.