Vintage NLP for Work
传统做法直接用标注数据，对这两个任务各自优化最大似然。而本文的联合训练只需要加入一个“对偶信息”的额外损失项。
对于语义解析任务来说，y本身就是需要输出的，这种分解方式自然无法直接计算。
Vintage NLP for Work
对于语义解析任务来说，y本身就是需要输出的，这种分解方式自然无法直接计算。
故本文直接用对偶任务作为变分分布。优化用了REINFORCE算法，此处略去。训练时类似于EM，先固定generator参数只优化parser，然后固定parser参数优化generator，如此往复。
把文本生成作为主任务时也可以导出类似的变分下界。
把文本生成作为主任务时也可以导出类似的变分下界。
Vintage NLP for Work
故本文直接用对偶任务作为变分分布。优化用了REINFORCE算法，此处略去。训练时类似于EM，先固定generator参数只优化parser，然后固定parser参数优化generator，如此往复。 把文本生成作为主任务时也可以导出类似的变分下界。
本文进一步将下界扩展到未标注数据上，从而得到一个半监督框架。第二步为前面的下界，第一步则展开后显然成立。
Vintage NLP for Work
本文进一步将下界扩展到未标注数据上，从而得到一个半监督框架。第二步为前面的下界，第一步则展开后显然成立。
本文的整体训练框架如图所示，最精妙的地方在于用对偶任务计算充当理论上的变分下界，其实训练方式与强化学习算法无异，变分下界在这里只充当reward。
Vintage NLP for Work
本文的整体训练框架如图所示，最精妙的地方在于用对偶任务计算充当理论上的变分下界，其实训练方式与强化学习算法无异，变分下界在这里只充当reward。
在DJANGO和CONALA数据集上验证，两个任务上用对偶训练都要优于单独的监督训练，当数据量减少时，半监督DIM方法会优于没有用半监督数据的DIM，如果用完整的训练数据则监督的DIM方法还是最好的。作者没有演示自动生成很多未标注数据是否能够提升，但半监督DIM基本上优于半监督和机器翻译中类似的SelfTrain和BackBoost方法。
Vintage NLP for Work
在DJANGO和CONALA数据集上验证，两个任务上用对偶训练都要优于单独的监督训练，当数据量减少时，半监督DIM方法会优于没有用半监督数据的DIM，如果用完整的训练数据则监督的DIM方法还是最好的。作者没有演示自动生成很多未标注数据是否能够提升，但半监督DIM基本上优于半监督和机器翻译中类似的SelfTrain和BackBoost方法。
最后我们计算训练集上所有的样本的变分下界，可以发现用对偶学习之后下界的分布确实往更大的方向偏移。其他实验就不列出啦。这篇文章非常漂亮，方法值得在很多其他任务上进行尝试。
Introduction to Formal Syntax
https://wsun106.github.io/course/fs.html
https://wsun106.github.io/course/fs.html
https://github.com/LiyuanLucasLiu/RAdam
https://medium.com/@lessw/new-state-of-the-art-ai-optimizer-rectified-adam-radam-5d854730807b
https://medium.com/@lessw/new-state-of-the-art-ai-optimizer-rectified-adam-radam-5d854730807b
GitHub
GitHub - LiyuanLucasLiu/RAdam: On the Variance of the Adaptive Learning Rate and Beyond
On the Variance of the Adaptive Learning Rate and Beyond - LiyuanLucasLiu/RAdam
What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models
Allyson Ettinger
https://arxiv.org/abs/1907.13528
最近可能有比较多的通过设计实验来考察预训练BERT能力的文章，这里简单选一篇，通过心理语言学里常用的诊断实验反过来考察BERT性能。这些验证包括了文本处理中的很多比较难的任务：常识推理、语用推理、语义角色识别、事件框架知识、范畴归属性、否定句等。
Allyson Ettinger
https://arxiv.org/abs/1907.13528
最近可能有比较多的通过设计实验来考察预训练BERT能力的文章，这里简单选一篇，通过心理语言学里常用的诊断实验反过来考察BERT性能。这些验证包括了文本处理中的很多比较难的任务：常识推理、语用推理、语义角色识别、事件框架知识、范畴归属性、否定句等。
arXiv.org
What BERT is not: Lessons from a new suite of psycholinguistic...
Pre-training by language modeling has become a popular and successful approach to NLP tasks, but we have yet to understand exactly what linguistic capacities these pre-training processes confer...
Vintage NLP for Work
What BERT is not: Lessons from a new suite of psycholinguistic diagnostics for language models Allyson Ettinger https://arxiv.org/abs/1907.13528 最近可能有比较多的通过设计实验来考察预训练BERT能力的文章，这里简单选一篇，通过心理语言学里常用的诊断实验反过来考察BERT性能。这些验证包括了文本处理中的很多比较难的任务：常识推理、语用推理、语义角色识别、事件框架知识、范畴归属性、否定句等。
本文提出的实验有一些优点:
- 精心设计考察某方面特定的语言能力
- 一定包括了上下文
- 并考察语言模型的稳定性
- 考察了超出语法层面的更多内容
在心理语言学的实验中往往使用完形填空的形式考察人在上下文情况下对词汇的预测，并可能加入N400形式的考察即使用特殊装置检查在对应词汇搭配上的脑电波强度情况。这两种验证已经有研究证实其相关性。
本文设计实验有如下考虑：
- 选择完形填空+N400检验达成一致的样本。
- 检查词准确性、敏感度、定性考察三种情况。
- 所有的填空都在句子最后，但加上了句号和[SEP]符号给BERT一些句子结束的信号。
本文选了三种数据集，这里简单说一个：CPRAG-34。在CPRAG数据（上世纪的一个研究数据集）中选择了34个样本。人类在这个完形填空上可以做到比较高的一致性：74%的样本上人类达成了一致。这个数据一定会用到常识信息，并且所缺的词一定不在上下文里。
- 精心设计考察某方面特定的语言能力
- 一定包括了上下文
- 并考察语言模型的稳定性
- 考察了超出语法层面的更多内容
在心理语言学的实验中往往使用完形填空的形式考察人在上下文情况下对词汇的预测，并可能加入N400形式的考察即使用特殊装置检查在对应词汇搭配上的脑电波强度情况。这两种验证已经有研究证实其相关性。
本文设计实验有如下考虑：
- 选择完形填空+N400检验达成一致的样本。
- 检查词准确性、敏感度、定性考察三种情况。
- 所有的填空都在句子最后，但加上了句号和[SEP]符号给BERT一些句子结束的信号。
本文选了三种数据集，这里简单说一个：CPRAG-34。在CPRAG数据（上世纪的一个研究数据集）中选择了34个样本。人类在这个完形填空上可以做到比较高的一致性：74%的样本上人类达成了一致。这个数据一定会用到常识信息，并且所缺的词一定不在上下文里。