Модель оттока, по которой колл-центр работает каждое утро

Колл-центру нужно знать, кому звонить в первую очередь, чтобы удержать игрока до того, как он уйдёт. Я построил модель, которая каждый день оценивает риск ухода в ближайшие 30 дней по активности, трендам, платежам и признакам негативного опыта. На тех же игроках она точнее модели ML-команды: среди 20 тысяч игроков с самым высоким риском действительно уходят 55,7 % против 46,3 %. Когда качество модели однажды просело, я добавил проверку перед каждым переобучением и монитор дрейфа. Теперь модель работает и на втором направлении бизнеса, а эффект самих звонков меряем отдельным A/B-тестом.

Вход

42 признака: сессии, тренды за 7 и 30 дней, платежи и признаки негативного опыта.

Модель

CatBoost: ROC-AUC 0,756 против 0,675 у модели ML-команды на тех же 29,6 тыс. игроков.

Действие

Каждое утро сортирует игроков по риску ухода в ближайшие 30 дней — колл-центр звонит первыми тем, кто рискует больше всех.

Защита

Перед каждым переобучением модель проходит проверку качества, за дрейфом данных следит монитор. Прогноз расходится с фактом не больше чем на 4 п.п.

Эффект

Из 20 тыс. игроков с самым высоким риском действительно уходят 55,7 % — у модели ML-команды 46,3 %. В работе ROC-AUC 0,85, модель запущена и на втором направлении бизнеса.