ИИ проверяет чаты поддержки: больше половины — без человека
Остальные чаты QA-менеджеры проверяют с готовой подсказкой ИИ: где ошибся оператор и по какому критерию. Споры с подсказками идут в следующую версию промптов.
Схема системы
Как это работает
Отдел контроля качества проверял чаты поддержки вручную: около 60 чатов в день на менеджера. Мы встроили в проверку LLM: она читает чат, оценивает, решён ли вопрос, эмпатию, критические ошибки и грамотность, и подсказывает менеджеру, где ошибся оператор. Безупречные чаты модель закрывает сама. Личные данные маскируются до отправки в модель, а чаты, которые ИИ не смог проверить, уходят людям. Каждое несогласие менеджера с подсказкой становится материалом для следующей версии промптов. Сейчас больше половины чатов ИИ проверяет без человека, а остальные менеджеры проверяют с его подсказкой.
- Вход
- Чаты поддержки, которые идут на контроль качества: решён ли вопрос, эмпатия, критические ошибки, грамотность.
- Модель
- LLM проверяет чат по критериям QA, подсказывает менеджеру ошибки оператора, а безупречные чаты закрывает сама.
- Действие
- Остальные чаты QA-менеджеры проверяют с готовой подсказкой ИИ: где ошибся оператор и по какому критерию. Споры с подсказками идут в следующую версию промптов.
- Защита
- Личные данные маскируются до того, как чат попадёт в модель. Если ИИ не смог проверить чат, его проверяет человек, а конвейер не останавливается.
- Эффект
- Больше половины чатов поддержки ИИ проверяет без человека, остальные QA-менеджеры проверяют с его подсказкой.