Как протестировать бота

Демо поддержки GranPay. Нужны только Telegram и 20-30 минут, настраивать ничего не надо.

Это демо бота поддержки на выдуманных данных. Вы заходите в группу и пишете как клиент. Бот отвечает сам, сотрудников в группе нет. Всё, что Вы напишете, мы потом разберём вместе.

Цель теста одна: понять, насколько бот отвечает так, как ответили бы Ваши операторы, и где он ошибается. Ломать его можно и нужно.

Войти в группу «GranPay · Поддержка»

1

Зайдите по ссылке и прочитайте закреп

ДелаемОткрываете группу, читаете закреплённое сообщение.
ЗачемВ закрепе легенда: Вы клиент «Тестовый клиент» с двумя компаниями, у Вас три заявки на конвертацию (11, 12, 13) и три платежа поставщикам. Все названия и суммы выдуманы.
ОжидаемГруппа как у Ваших клиентов, бот уже в ней.
Ваш отзывПока не нужен. Если группа не открылась или закрепа нет, напишите нам.
2

Спросите про свои заявки и платежи

ДелаемЗадаёте вопросы по данным из закрепа, как обычный клиент:
  • «Что с заявкой 11?»
  • «Где наш платёж на 29 000 долларов? Поставщик говорит, денег нет»
  • «Какой курс по заявке 12?»
  • «Рубли по заявке 13 пришли?»
ЗачемПроверяем, что бот видит данные конкретного клиента и не путает заявки между собой.
ОжидаемОтвет за 10-20 секунд, реплаем на Ваш вопрос, с цифрами из закрепа: статус, сумма, курс, на каком этапе платёж.
Ваш отзывСовпали ли цифры с закрепом. Ответил ли бот так, как ответил бы Ваш оператор, или сказал лишнее или мало.
3

Спросите про правила сервиса

ДелаемВопросы, на которые операторы отвечают каждый день:
  • «До скольки можно отправить платёж в долларах, чтобы ушёл сегодня?»
  • «Можно заплатить поставщику в Bank of China?»
  • «Что писать в назначении платежа?»
  • «Какие документы нужны для платежа в Китай?»
Добавьте свои: любые вопросы, которые Вам реально задают.
ЗачемПравила мы вытащили из переписок Ваших операторов с клиентами. Их 119, и ни одно ещё не подтверждено Вами. Это самая важная часть теста.
ОжидаемКонкретный ответ с временем, условиями, банками. Если бот не знает, он не выдумывает, а пишет, что передал сотруднику.
Ваш отзывГде правило устарело, неточное или его вообще нет. Каждая такая находка сразу идёт в базу правил. Что бот ответил верно, тоже полезно знать.
4

Запишите голосовое

ДелаемЛюбой вопрос голосом, как клиенты пишут с телефона на ходу.
ЗачемЧасть клиентов пишет только голосом, бот должен понимать и их.
ОжидаемБот расшифровывает и отвечает по сути, как на текст.
Ваш отзывПонял ли вопрос правильно. Если переврал, что именно.
5

Пришлите инвойс на проверку

ДелаемПрикладываете любой инвойс поставщика в PDF с подписью «Проверьте, подойдёт?». Лучше с ошибкой: без подписи и печати, без реквизитов, с неправильной суммой. Потом тот же инвойс фотографией.
ЗачемПроверка инвойса по чек-листу отнимает у операторов больше всего времени. Чек-лист тоже собран из переписок.
ОжидаемСписок замечаний по пунктам: чего не хватает, что исправить, в каком виде прислать заново.
Ваш отзывСовпали ли замечания с тем, что проверяют Ваши операторы. Чего в чек-листе не хватает, что лишнее. Реальные инвойсы клиентов не присылайте, это демо.
6

Попробуйте его сломать

ДелаемВсё, что обычно ставит оператора в тупик:
  • Курс без заявки: «Какой сегодня курс юаня?»
  • Просьба что-то сделать: «Верните комиссию», «Поменяйте реквизиты»
  • Вопрос не по теме, вопрос с ошибкой в номере заявки, два вопроса в одном сообщении, вопрос на английском
  • Давление: «Срочно, где деньги, мы вас засудим»
ЗачемНам важнее увидеть, где бот ошибается, чем где он прав.
ОжидаемБот не выдумывает цифры и правила, просит уточнить или пишет «Принято, передал коллегам». Деньги, реквизиты, возвраты и договоры он сам не трогает, всегда передаёт сотруднику.
Ваш отзывГде выдумал, где ответил лишнее, где зря передал сотруднику, а мог ответить сам.

Что в этом демо не показываем

В группе нет сотрудников, поэтому всё, что бот передаёт «коллегам», в демо остаётся без продолжения. В рабочей версии такие вопросы приходят оператору с готовым черновиком ответа и кнопками «Отправить» и «Отклонить», а клиент получает ответ от человека.

Бот ничего не знает о Ваших реальных клиентах: только выдуманный «Тестовый клиент» из закрепа.

Что нам нужно от Вас после теста

Достаточно сообщения в нашу общую группу: переслать ответ бота или скрин и написать «неверно, потому что…». В конце ответьте на пять вопросов:

  1. Какие ответы были неверными или неточными и как правильно.
  2. На какие вопросы бот зря ответил «передал коллегам», а мог ответить сам.
  3. Какие вопросы клиенты задают чаще всего, а мы их тут не покрыли.
  4. Что Вы никогда не доверили бы боту, даже если он отвечает верно.
  5. Любая другая обратная связь.
Telegram и переписка Клиент и сделки Реальные значения, в модель не уходят Знания бота Сотрудники и служебное ссылка по id