近期，微软公司研究团队通过对上下文建模加以研究得出结论一种新的方法，这种方法需要让 AI 模型通过上下文的历史记录来重写对话中的最后话语，那么，这是一种怎样的研究方法呢？KYLE WIGGERS 回应做到了详尽的讲解，将其文章展开了不转变不愿的编译器，明确如下。在一份预先出版发行的论文中，微软公司研究团队详尽地讲解了他们的工作——为对外开放领域的对话展开无监督的上下文改写。他们声称，在改写质量和多轮号召分解方面，他们的实验结果早已超过了近期基准。正如研究人员所说明的那样，对话上下文明确提出了句子建模中所没的挑战，比如主题切换、联合提到（像他、她、它、他们这种）、长年倚赖。

大多数系统解决问题这些问题的方法是在最后一段话中加到关键字，或者用 AI 模型自学数字回应，但这种方法往往不会遇上障碍，比如无法自由选择准确的关键词、无法处置较长的上下文等。这时候，就是微软公司研究团队的方法的用武之地了。它通过对语境信息的考量，重新制定了对话中的最后一句话；这么做到是为了分解一个独立国家的话语，既不不存在互相参考，也不倚赖过去对话的其它话语。

录：【 图片来源：Microsoft所有者：Microsoft 】荐个例子，如果将“我喜欢喝咖啡。- - 为什么？它挺好喝的啊。”转化成“为什么不会喜欢喝咖啡呢？它挺好喝的啊。

”，这就借出了“它”和“为什么”。其中，“它”指代的是对话中提及的咖啡，“为什么”则是“为什么喜欢喝咖啡”的简写形式。回应，研究人员设计了一个机器学习系统——上下文改写网络（按：context rewriting network, CRN），来构建末端到端的流程自动化。这个系统是由一个序列到序列模型构成的，它需要将相同长度的话语同构到相同长度的改写句子上。

并且，它还具备一个独立国家的注意力机制，这个机制需要通过最后话语中的有所不同单词来协助它从上下文中拷贝单词。那么，这个系统是如何被设计出来的呢？首先，微软公司研究团队用于伪数据对模型展开了训练，这些伪数据是通过萃取上下文的关键字，将这些关键字放入到完整对话中的最后话语中来分解的。然后，为了让最后的号召影响改写过程，他们利用了增强自学去推展系统朝着目标行进。

录：【 图片来源：Microsoft所有者：Microsoft 】在一系列实验中，该团队评估了他们的方法在几种改写质量，多淘汰赛号召分解，多淘汰赛号召自由选择以及基于末端到末端检索的任务上的应用于。他们注意到，由于他们的模型更加偏向于从上下文中萃取更好的单词，因此该模型在增强自学后有时候不会显得不平稳，不过，这也明显地提高了话语的多样性。微软公司研究团队指出，他们的工作朝着更加不易说明和更容易掌控的上下文建模中迈向了一步。

另外，该研究团队还回应，他们的模型可以从喧闹的语境中萃取出有最重要的关键词，然后将这些关键词放入到最后的话语中，使其不仅显得易于控制和说明，还有助将信息必要传送到最后的话语中。(公众号：)录：本文编译器自KYLE WIGGERS 公开发表在 venturebeat 上的文章。

原创文章，予以许可禁令刊登。下文闻刊登须知。

本文来源：JN江南-www.fudousan-meigihenkou.com