Chatbot

GPT-3和ChatGPT等大型语言模型 (LLM) 的最新进展在科技行业引起了广泛关注。这些模型对于内容生成来说非常强大，但它们也有一些缺点，例如偏见和幻觉。这些 LLM 特别有用的一个领域是聊天机器人开发。 基于意图的聊天机器人 传统的聊天机器人通常是基于意图的，这意味着它们旨在响应特定的用户意图。每个意图都由一组示例问题和相关联的响应组成。例如，意图“天气”可能包含诸如“今天天气如何？”之类的示例问题。或者“今天会下雨吗？” 以及“今天会是晴天”之类的回应。当用户提出问题时，聊天机器人会将其与具有最相似示例问题的意图进行匹配，并返回相关的响应。 传统的基于意图的聊天机器人是如何工作的。图片由作者提供。 然而，基于意图的聊天机器人有其自身的一系列问题。一个问题是它们需要大量特定的意图才能给出特定的答案。例如，像“我无法登录”、“我忘记了密码”或“登录错误”这样的用户话语可能需要三个不同的答案，因此需要三个不同的意图，尽管它们都非常相似。 GPT-3 如何提供帮助 这是 GPT-3 特别有用的地方。不是有许多非常具体的意图，每个意图都可以更广泛并利用来自您的知识库的文档。知识库 (KB) 是存储为结构化和非结构化数据的信息，可随时用于分析或推理。您的知识库可能由一系列说明如何使用您的产品的文档组成。 这样，每个意图都与一个文档相关联，而不是与问题列表和特定答案相关联，例如，一个意图是“登录问题”，一个意图是“如何订阅”等。当用户询问有关登录的问题时，我们可以将“登录问题”文档作为上下文信息传递给 GPT-3，并对用户的问题生成特定的响应。 利用 GPT-3 的聊天机器人如何工作。图片由作者提供。 这种方法减少了需要管理的意图数量，并允许更好地适应每个问题的答案。此外，如果与意图相关的文档描述了不同的过程（例如“登录网站”的过程和“登录移动应用程序”的过程），GPT-3 可以在给出最终答案之前自动要求用户澄清. 为什么我们不能将整个 KB 传递给 GPT-3 ？ 今天，像 GPT-3 这样的 LLM 的最大提示大小约为 4k 令牌（对于模型text-davinci-003），这很多但不足以将整个知识库输入到单个提示中。出于计算原因，LLM 具有最大提示大小，因为使用它们生成文本涉及大量计算，这些计算会随着提示大小的增加而迅速增加。 未来的 LLM 在保留文本生成功能的同时可能没有此限制。但是，就目前而言，我们需要围绕它设计一个解决方案。 使用 GPT-3 的聊天机器人如何工作 因此，聊天机器人管道可以由两个步骤组成： 第一步本质上是通过语义搜索来解决的。我们可以使用库中的预训练模型sentence-transformers，轻松地为每个文档分配分数。得分最高的文档将用于生成聊天机器人答案。 利用 GPT-3 的聊天机器人如何工作。GPT-3 可用于利用知识库文档中的信息生成适当的答案。图片由作者提供。 使用 GPT- 3 一旦我们有了正确的文档，我们就需要创建一个好的提示，以便与 GPT-3 一起使用来生成答案。在接下来的实验中，我们将始终使用text-davinci-003温度为 的模型0.7。 为了制作提示，我们将尝试使用： 用于制作我们的 GPT-3 提示的信息。图片由作者提供。 让我们使用角色提示技术开始我们的提示。 然后，假设语义搜索步骤从我们的知识库中提取了以下文档。所有文档都描述了 VideoGram 产品的工作原理，这是一个类似于 Instagram 的虚构产品，但仅限于视频。 解释如何登录 VideoGram 的文档。图片由作者提供。 我们可以通过这种方式在提示中添加它的内容。 最后，我们需要将对话和用户问题添加到提示的末尾，如以下示例所示。 将此提示传递给 GPT-3，我得到了以下生成的答案。 请注意生成的答案中的信息是如何来自知识库文档的。 使用 GPT- 3 让我们尝试使用更模糊的用户话语，例如“无法登录”。这是完整的提示。 GPT-3 试图更好地理解用户的问题。 接下来，完整的对话是这样进行的。隐藏整个提示以获得更好的可见性。 GPT-3 可以管理消歧，前提是它具有正确的上下文信息。 使用 GPT- 3 前面的示例运行良好。但是，此聊天机器人可能会通过多种方式失败。 如果我们问“移动应用程序免费吗？” 对于 GPT-3 将登录文档作为上下文传递，你通常会得到类似“是的，VideoGram 移动应用程序可以免费下载和使用”的答案，即使上下文信息中没有包含此类信息。生成虚假信息对客服聊天机器人来说非常不利！ 当可以在上下文中找到用户问题的答案时，GPT-3 很少生成虚假信息。由于用户问题通常是简短且含糊不清的文本，我们不能依赖语义搜索步骤来始终检索到正确的文档，因此我们总是容易受到错误信息生成的影响。 结论 GPT-3…