Урок 4. Проводимо аналіз трафіку. Допрацьовуємо чат-бота

У цьому уроці ми розповімо про те, як зробити регулярне доопрацювання Вашого бота простим і ненапружним.

Величезна робота вже зроблена - і це чудово! Поспілкуватися з Вашим ботом щодня приходить кілька десятків, сотень чи навіть тисяч людей. Але розслаблятися ще рано. Якщо говорити точніше, робота з чат-ботом ніколи не припиняється. Завжди є те, що можна покращити, доповнити чи доопрацювати.

Виділіть час,
щоб систематично допрацьовувати бота.

У перевірках головне – регулярність. Якщо все йтиме добре, Ви зіткнетеся з сильною бажанням пропустити регулярну перевірку (а потім ще одну і ще). Але ж це пастка! Варто трохи запустити чат-бота, як Вам вже буде складніше відремонтувати його.

Порядок дій під час доопрацювання бота

1. Аналіз корисності бота для користувачів

2. Пошук та виправлення незрозумілих для чат-боту моментів

3. Статистика досягнення цілей бізнесу

А тепер розповімо про кожен пункт докладніше

1. Аналіз корисності бота для користувачів

Скільки користувачів отримують те, що їм потрібно від чат-бота?
Дайте відповідь на це питання, а ще точно порахуйте, скільки користувачів кидають діалог, не дійшовши до цінності.

Щоб збільшити корисність бота, шукайте невдалі діалоги та допрацьовуйте сценарій, створюючи нові інтенти та відповідні гілки діалогу. Так Ви зробите чат-бота кориснішим для клієнтів і підвищить їхню лояльність.

Якщо аналіз показав, що користувачі стабільно йдуть на якомусь дратівливому питанні чат-бота, слід перебудувати логіку діалогу. Ще один привід переробити сценарій - коли клієнти постійно просять покликати оператора, не отримавши потрібного відповідь від бота.

Скільки конверсій здійснили користувачі?

Для оцінки кількості конверсій можна використати статистику результатів. Ви можете розмітити сценарій бота і додати цікаві результати: наприклад, коли користувач надіслав боту свої контактні дані або погодився на зворотний дзвінок оператора. Коли діалог із користувачем дійде до заданої мети, чат-бот запише це у статистику.

Скільки разів діалог перевели на оператора з ініціативи бота?

Ця метрика показує, як часто бот зовсім не розуміє користувача. Якщо чат-бот постійно по своїй ініціативі перекладає діалог на оператора, сценарій потрібно доопрацьовувати. Для цього слід додавати нові інтенти та гілки діалогу.

Який індекс задоволеності ботом?

Після завершення діалогу бот може попросити користувача оцінити виконану роботу. Наприклад, за п'ятибальною шкалою. Щоразу, коли Ви покращуєте бота, обов'язково заміряйте, як цей показник зростає чи знижується.

Скільки користувачів повертаються в чат-бота?

Кількість користувачів, що повернулися, показує, наскільки бот був корисний. Це гарна метрика, щоб відстежувати динаміку задоволеності ботом. Однак такий показник зазвичай не пов'язаний безпосередньо з бізнес-цінністю бота, тому він не є визначальним.

2. Пошук та виправлення незрозумілих для чат-боту моментів

Наприклад, користувачі часто запитують про режим роботи (коли закривається або відкривається магазин, чи працює магазин у вихідні тощо). Всі ці запити можна об'єднати в один інтент – режим роботи.

Скільки фраз не розпізнав бот?

Регулярно переглядайте статистику та читайте невдалі діалоги. Спробуйте розділити фрази, які чат-бот не зрозумів на групи. Це називається "кластеризувати" фрази. На основі кластерів створюйте нові інтенти. Для цього вивантажте діалоги з нерозпізнаними повідомленнями. Перевірте кожне на наявність нових слів-запитів, яких немає в жодному наявному інтенті. Якщо Ви знайшли кілька таких схожих один на одного слів-запитів, поєднайте їх у новий інтент. Після цього обов'язково побудуйте нову гілку діалогу з його основі.

Скільки було порожніх діалогів?

Порожніми називаються ті діалоги, у яких немає жодних повідомлень від користувача. Найчастіше це означає, що перша фраза чат-бота недостатньо залучає, і користувач не розуміє, чим бот може допомогти йому. Щоб виправити такий промах, після першого повідомлення бота можна запропонувати користувачеві кілька варіантів кнопок, щоб просунути діалог далі.

Чи правильно бот розуміє репліки клієнтів?

Слідкуйте за тим, щоб бот правильно розумів фрази користувачів та відносив їх до правильних інтентів. Читайте діалоги користувачів, щоб переконатися, що бот не плутає вартість доставки та вартість упаковки і не припускає інших подібних помилок. Щоб уникнути непорозуміння, доповнюйте інтенти конкретними прикладами користувацьких фраз.

Існують послуги розпізнавання природного мовлення, який аналізує всі фрази користувача та самостійно доповнює інтенти синонімами та словоформами. В результаті Ваш чат-бот раз-по-раз стає розумнішим.

Користувачі можуть ставити не тільки відомі Вам питання з FAQ-бази, але й ті питання, які неможливо спочатку передбачити. Крім того, багато клієнтів мають великий досвід спілкування з іншими чат-ботами, так що вони заздалегідь очікують, що бот зможе розповісти про послуги, ціни, обмеження чи інші специфічні для галузі речі. Якщо Ви бачите, що користувачі часто ставлять подібні питання у діалогах, просто додайте додаткові теми та інтенти.

Як би ретельно Ви не проробляли сценарій, завжди знайдуться користувачі, які дадуть нестандартну відповідь або поставлять питання, не передбачене сценарієм.
Робота над сценарієм ніколи не закінчується!

3. Статистика досягнення цілей бізнесу

Скільки було конверсій у лід та продаж?
Ці метрики називаються верхньорівневими. Чим більше досягнень таких цілей, тим ціннішими є чат-бот для бізнесу. і тим корисніший він для користувача. Не забудьте розмітити сценарій, щоб відстежувати ці результати (вище ми вже розповідали, як це зробити).

Скільки було успішних діалогів?
Успішними вважаються ті діалоги, у яких користувач зміг вирішити своє завдання без залучення оператора. Цей показник є особливо важливим при використанні чат-бота для автоматизації першої лінії підтримки. Кількість успішних діалогів підкаже Вам скільки часу Ви заощадили команді підтримки користувачів.

Наскільки якісними були ліди?
Рекомендуємо підключити CRM-систему, щоб автоматично генерувати та зберігати заявки з чат-бота саме туди. Так Ви зможете визначити скільки таких заявок конвертувалося в угоду. Розмір виручки також допоможе Вам оцінити ROI (окупність) всього проекту зі створення та впровадження чат-бота.

Продовжуйте аналізувати та допрацьовувати чат-бота регулярно — ця праця точно буде винагороджений! Якщо ви робите все правильно, чат-бот буде підвищувати лояльність клієнтів, допомагаючи їм розібратися зі складними питаннями, а продажі неминуче зростатимуть.

Коротко та ясно

Визначайте, чи виконує бот поставлені перед ним завдання. Дивіться число вчинених користувачами конверсій та кількість діалогів, перекладених на оператора.

Аналізуйте кількість порожніх та успішних діалогів. Шукайте та виправляйте фрази, які бот не зрозумів чи зрозумів неправильно. Доповнюйте інтенти цими фразами.

Регулярно перевіряйте, які оцінки користувачі ставлять боту, чи був він для їм корисним, чи повернулися вони до діалогу знову.

Ведіть статистику досягнення цілей бізнесу - конверсії в лід, кількість продажів та окупність проекту.