IBM Watson Assistant фокусируется на улучшении обнаружения нерелевантности в новых выпусках

IBM Watson Assistant фокусируется на улучшении обнаружения нерелевантности в новых выпусках

… И на нескольких языках

Введение

В IBM Watson Assistant Dialog Skills можно использовать, если они уже существовали. Однако новые экземпляры Watson Assistant можно создавать только в навыках действий, а не в навыках диалога.

С 9 февраля 2022 г. все новые экземпляры IBM Watson Assistant (WA) по умолчанию используют новый интерфейс. Этот новый интерфейс или опыт основан на действиях, а не на независимых NLU/навыках диалога.

Видимо, из новых экземпляров прежний интерфейс недоступен. Однако для существующих реализаций в предыдущем интерфейсе никакая работа не будет потеряна при переключении между двумя средами.

Для существующих реализаций вы можете вернуться к классическому/предыдущему интерфейсу в любое время, нажав Переключиться на классический интерфейс в меню учетной записи.

Это вызвало сомнения в будущем существовании Dialog Skills. Судя по всем новым выпускам IBM Watson Assistant, особенно по обнаружению нерелевантности и на разных языках; будущее Dialog Skills кажется безопасным.

25 марта 2022 г. было введено улучшенное обнаружение нерелевантности для голландского языка. Обнаружение нерелевантности для голландского языка игнорирует любые знаки препинания во входном предложении.

Например, теперь вы можете ожидать одинаковую оценку достоверности для следующих двух входных данных: ik ben een kleine krijger? и ik ben een kleine krijger. В этом примере вопросительный знак (?) не влияет на показатель достоверности.

Кроме того, 1 марта 2022 г. IBM усовершенствовала функцию обнаружения нерелевантности в Watson Assistant.

Алгоритм классификации обнаружения был улучшен, чтобы использовать любые предоставленные контрпримеры как часть обучения.

Гарантируется, что существующие рабочие пространства без встречных примеров не будут затронуты.

Обновление актуально для языков: английский, французский, испанский, итальянский. И, что очень важно, общая универсальная языковая модель.

Несколько ключевых соображений:

• Обнаружение неуместности — ключевая и отличительная черта IBM Watson Assistant. Усовершенствования на нем являются ключевыми, и это развитие, безусловно, является хорошим знаком.
• Эта функция доступна только в классическомIBM Watson Assistant.
• Все новые экземпляры Watson Assistant указывают на новый WA. Новый экземпляр WA нельзя создать в классическомWA (с диалоговыми навыками).
• Следовательно, эта функция доступна только в существующих классическихэкземплярах WA.
• Надеемся, что скоро диалоговые навыки будут доступны в новомWA. Или предоставлен доступ к новым классическим инстансам.

Высказывания с назначенным намерением могут быть помечены как нерелевантные и сохранены в качестве контрпримеров в рабочей области. И, следовательно, включены как часть обучающих данных. Это учит чат-бота явно не отвечать на высказывания такого рода.

Определение неуместности с помощью Watson Assistant

В BM Watson Assistant вы можете научить навык диалога распознавать, когда речь идет о темах, которые являются OOD.

Разговоры пользователей можно просматривать и помечать как темы, не относящиеся к теме, и, следовательно, не относящиеся к делу.

Эти пользовательские высказывания, помеченные как нерелевантные, сохраняются как контрпримеры и включаются в обучающие данные.

Следовательно, ассистент обучается явно не отвечать на высказывания этого типа.

Во время тестирования своего диалогового окна вы можете пометить намерение, основанное на вводе пользователя, как нерелевантное непосредственно на панели Попробовать.

В этом процессе следует соблюдать осторожность…

• Позже невозможно получить доступ или изменить входные данные из пользовательского интерфейса.
• Единственный способ отменить идентификацию входных данных как нерелевантных — использовать те же входные данные в канале интеграции тестирования, а затем явно присвоить их намерению.

Когда вы устанавливаете для параметра Обнаружение нерелевантности значение включено, в дополнение к стандартному методу запускается альтернативный метод оценки релевантности вновь отправленного высказывания.

Чтобы включить эту функцию для IBM Watson Assistant:

1. На странице Навыки откройте свой навык.
2. В меню навыков нажмите Параметры.
3. На странице обнаружения Нерелевантности выберите Расширенный.

Этот дополнительный метод исследует структуру нового высказывания и сравнивает ее со структурой высказываний пользовательского примера в ваших обучающих данных.

Этот подход помогает чат-ботам, у которых мало или совсем нет контрпримеров, распознавать нерелевантные высказывания.

На изображении выше видно, что навык не имеет никакого отношения к статусу учетной записи. Следовательно, если обнаружение нерелевантности отключено, по умолчанию используется намерение #Balances.

Когда эта функция включена, высказывание справедливо получает статус Нерелевантный.

Чтобы создать чат-бот, обеспечивающий более индивидуальный подход, вы хотите, чтобы он использовал информацию из данных, полученных из домена приложения.

И добавляя свои собственные контрпримеры. Даже если всего несколько.

Как это работает?

Понимание того, что говорят ваши пользователи, основано на двух столпах:

• Намерения, для которых вам нужен чат-бот. Примерами этого для курьерской компании могут быть отслеживание заказов, сбор посылок и т. д. Обучение происходит путем определения намерений и добавления примеров пользовательских высказываний. Эти высказывания пользователей сгруппированы в соответствии с намерениями, основанными на том, что пользователи могут сказать.
• Определение встречных примеров, которые следует считать не относящимися к делу или которые необходимо игнорировать.

Можно потратить время на то, чтобы понять сферу деятельности целевой аудитории и ее конкретные намерения. И впоследствии соответствующим образом обработать или получить данные для обучения.

Контрпримеры должны быть частью этих обучающих данных.

Цель расширенного обнаружения нерелевантности — смягчить любую уязвимость в встречных примерах.

По данным IBM:

Если этот параметр включен, в дополнение к стандартному методу запускается альтернативный метод оценки релевантности вновь отправленного высказывания.

Наилучший подход состоит в том, чтобы добавлять примеры предметной области, а также встречные примеры итеративным образом с постоянным мониторингом.

Отменить присвоение ложных намерений

Часто вместо того, чтобы заявить, что намерение выходит за рамки, в отчаянной попытке обработать высказывание пользователя чат-бот назначает пользователю наиболее подходящее намерение; часто неправильно.

В качестве альтернативы чат-бот продолжает сообщать пользователю, что он не понимает; и пользователь постоянно перефразирует ввод. Вместо того, чтобы чат-бот просто заявлял, что вопрос не является частью его домена.

Удобным элементом дизайна является наличие двух или трех предложений в качестве вступления для новых пользователей; набросок сути домена чат-бота.

Традиционные подходы:

• Придумано и введено множество «выходящих за рамки» примеров. Который вряд ли когда-нибудь увенчается успехом.
• Предпринимаются попытки устранить неоднозначность пользовательского ввода.

Но на самом деле чат-бот должен просто указать, что запрос находится за пределами его домена, и дать пользователю указания.

Заключение

Как правило, чат-боты проектируются и разрабатываются для определенного домена. Эти домены узки и применимы к интересам организации, которую они обслуживают. Следовательно, чат-боты создаются по индивидуальному заказу и специально создаются как расширение деятельности организации, обычно для того, чтобы клиенты могли самообслуживаться.

В качестве дополнительного элемента, делающего чат-бота более интерактивным и реалистичным, а также антропоморфизирующего интерфейс, вводится светская беседа. Также называется болтовней.

Но что произойдет, если высказывание пользователя выйдет за пределы этой узкой области? В большинстве реализаций намерение с наивысшей оценкой присваивается высказыванию пользователя в отчаянной попытке выполнить запрос.