简单要说的就只有第二点，模型很简单如图。因为是不用标准答案的，因此可以当做一个无监督的训练，优化目标是正负样本的 margin，负样本通过采样其他 query 的回复获得。

最后这个最重要的图是在所有衡量标准下，将两个模型（别人的）输出的答案与人工判断的好坏算相关性。

如果把人类判断的 0.6 作为模型的天花板，可以看到基于 embedding pooling 的指标优于所有 BLEU 值，而由神经网络算出的指标更好，而最后合成的 RUBER 指标是在所有情况下都最接近人工判断的。

How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
http://aclweb.org/anthology/D16-1230

How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
http://aclweb.org/anthology/D16-1230
Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, Joelle Pineau

在讨论对话系统的新指标之前，我们有必要解释一下为什么旧的指标不好，本文就是做这件事的。如上图，一个合理的解释会得到一个 0 的 BLEU 值。本文的结论也非常明确而震撼，在两个数据集上，BLEU 值等旧指标与人类判断相比，要么只有微弱的相关性，要么就完全不相关。

传统 BLEU-4 如上，取 n=4 ，h(k, r) 表示词表中第 k 个 4-gram 在 r 中的出现次数，beta 一般用均匀分布。

（我也不知道为什么 hat 会打在后一个括号上，渲染工具有点问题 orz）

除了 BLEU、ROUGE、METEOR 三个类似的考察 n-gram 重叠程度的指标外，本文也比较了用 embedding 的指标：

- Greedy matching: 找 embedding 余弦相似度最大的词，并做平均
- Embedding Average: 所有词的 embedding 求平均
- Vector Extrema: 每一维度都取所有词中偏离原点最远的值

先用这几个基于 embedding 的指标比较现成的五个模型，发现 HRED 模型效果奇好。这难道说明 embedding 相关的指标捕捉了什么优点？很遗憾，其实他们跟人没什么相关性，因此用这种指标评出来的模型哪怕数值很高也并不能说明什么。

最后的相关性比较如图。BLEU-2 是较好的，但也仅有 0.35 的相关度，在 Ubuntu 数据集下就更不相关了。

散点图可以看到这些指标与人工评价基本也毫无相关性，近乎随机。

其他实验就不一一放图了，最后有一些有价值的讨论：

- 也许在限定领域下 BLEU 值与人工指标的相关性能更高，因为这时句子多样性较低
- 如果对同一个回复能收集到多个人工标准，这时指标需要单独考虑
- 目前看来使用合适的句子表示是最有希望的，这相当于在算句子的主题性
- 本文也没有考虑上下文，如果在一个多轮的对话中，上下文也是需要计算进来的

https://en.wikipedia.org/wiki/R%C3%A9nyi_entropy#R.C3.A9nyi_divergence the alpha-divergence, 现在一些stochastic optimization method有用这个解释。

Toward An Automatic Turing Test: Learning to Evaluate Dialogue Reponses
https://openreview.net/forum?id=HJ5PIaseg

Toward An Automatic Turing Test: Learning to Evaluate Dialogue Reponses
https://openreview.net/forum?id=HJ5PIaseg
Ryan Lowe, Michael Noseworthy, Iulian V. Serban, Nicolas Angelard-Gontier, Yoshua Bengio, Joelle Pineau

本文也尝试解决对话系统常用的指标 BLEU 等于人工评价不一致的问题。
从图灵测试的讨论出发，作者认为最省力的还是构建一个自动评价模型，这样才能帮助对话机器人进一步提升。本文标题就基于此所谓自动图灵测试，提出学习一个自动对话评价模型（ADEM）。

他们首先要做的事是收集用户的评价数据。他们在 Amazon Mechanical Turk (AMT) 上创建了一些任务，首先让人去对 twitter 数据中的对话写一些回复。虽然数据集中有现成的真实回复，但是为了让 ADEM 学习到用候选去对比真实回复的评价能力，这里还是人工构造了新的回复。加上三种模型生成的答案，共得到四种候选。再让人对这些回复打1~5分，获得评价数据。
正文以及附录有他们如何设计人工标注指引的考虑，可以作为以后设计人工标注的参考，比如用 kappa 值看特定维度的人工打分是否有一致性等。

如果前文不一样，那回复的正确性当然也可能会有变化，因此他们设计的评价模型里除了标准回复之外还考虑了上下文。优化目标是简单的平方损失和 L1 正则化。为了提升一致性和多样性他们也用了 VHRED 做预训练。

实验结果展现出 ADEM 与人工评价的一致性明显高于 BLEU 等过去指标，以前这些指标可以说几乎没有一致性。

对四种模型在系统级别的评价也能看出，ADEM 与人工评价有较强的线性相关。

同样，他们也做了 transfer 的实验，在其他的三个数据上训练，在新数据集上测试，ADEM 评价标准与人工评价相比依然有较高的相关性。

最后也有一些结论：

- ADEM 评分较为保守，不太容易给出高分，猜测这是因为所用的平方损失较大
- 另外，人工评价也会倾向于给短而抽象的评价较高分，因为他们可能在很多时候都是好的回复，且回复长度和人工评价之间有0.3左右的相关度，这样训练出来的评价模型有可能会根据长度来打分
- ADEM 和人工评价都不会像 BLEU 一样给接近标准长度的回复以较高分

针对评价指标对句子长度敏感的问题，可能方法一个是限制隐变量中的长度信息(Edwards and Storkey, 2016)，另一个是加入对抗学习。