http://deeplearning.hatenablog.com/entry/memory_networks
从最古老的 memory networks 开始的一系列变种
从最古老的 memory networks 开始的一系列变种
ディープラーニングブログ
論文解説 Memory Networks (MemNN) - ディープラーニングブログ
「メモリネットワーク」は代表的な記憶装置付きニューラルネットワークである． 本稿ではメモリモデル (記憶装置付きニューラルネットワーク) をいくつか概説し，論文 2 紙 (1) Memory Networks, (2) Towards AI-Complete Question Answering の理論的な記述を全文翻…
MingZhou-AI-NLP-20170522-final.pdf
2.8 MB
MSRA 的周明老师近期一个 talk 里对 NLP 中最近一年的深度学习方法做的总结和几点展望，比较 insightful，涉及机器翻译、聊天机器人和阅读理解三个热门任务。
基于知识图谱的厨房领域问答系统构建
https://mp.weixin.qq.com/s/WKzlJD_fMbsIydSVn84c1w
徐叶强
调休上班的最后一天来划个水，发个关于知识图谱落地的讲稿。用到的技术一点都不 fancy 但是构建系统的整个过程还是挺朴实的。
https://mp.weixin.qq.com/s/WKzlJD_fMbsIydSVn84c1w
徐叶强
调休上班的最后一天来划个水，发个关于知识图谱落地的讲稿。用到的技术一点都不 fancy 但是构建系统的整个过程还是挺朴实的。
http://mp.weixin.qq.com/s/ANVrDYqy52eo_hBwIoKPVg
PaperWeekly 第39期 | 从PM到GAN - LSTM之父Schmidhuber横跨22年的怨念
PaperWeekly 第39期 | 从PM到GAN - LSTM之父Schmidhuber横跨22年的怨念
http://mlg.eng.cam.ac.uk/yarin/blog_2248.html
博士论文是比网上各种专栏或 blog 要优秀得多的学习资料。
这篇文章作者是剑桥大学的 Yarin Gal，系统阐述了贝叶斯建模和如今热门的深度学习之间的联系。例如在3.2节作者提到一个有趣的事实，即神经网络可以视作傅里叶展开。
变分推断（variational inference）最近的应用非常多，这篇工作值得趁热看看。顺便这个博客网站也很漂亮（
博士论文是比网上各种专栏或 blog 要优秀得多的学习资料。
这篇文章作者是剑桥大学的 Yarin Gal，系统阐述了贝叶斯建模和如今热门的深度学习之间的联系。例如在3.2节作者提到一个有趣的事实，即神经网络可以视作傅里叶展开。
变分推断（variational inference）最近的应用非常多，这篇工作值得趁热看看。顺便这个博客网站也很漂亮（
mlg.eng.cam.ac.uk
Uncertainty in Deep Learning (PhD Thesis) | Yarin Gal - Blog | Cambridge Machine Learning Group
So I finally submitted my PhD thesis, collecting already published results on how to obtain uncertainty in deep learning, and lots of bits and pieces of new research I had lying around...
Adversarial Multi-task Learning for Text Classification
https://arxiv.org/abs/1704.05742
Pengfei Liu, Xipeng Qiu, Xuanjing Huang
https://arxiv.org/abs/1704.05742
Pengfei Liu, Xipeng Qiu, Xuanjing Huang
Vintage NLP for Work
Adversarial Multi-task Learning for Text Classification https://arxiv.org/abs/1704.05742 Pengfei Liu, Xipeng Qiu, Xuanjing Huang
本文来自复旦大学的刘鹏飞，发表在 ACL-2017 上。
本文考虑的是多任务学习中的特征选择问题。理想情况下，多任务有一些共享特征，有一些是各自的特征，但是往往学出来的时候特征是重叠的。
他们引入对抗学习来解决这个问题。
- 通过对抗，让共享的特征集里仅包含于特定任务无关的特征
- 通过加入正交约束，让任务无关的特征仅只出现在共享的特征集中
本文考虑的是多任务学习中的特征选择问题。理想情况下，多任务有一些共享特征，有一些是各自的特征，但是往往学出来的时候特征是重叠的。
他们引入对抗学习来解决这个问题。
- 通过对抗，让共享的特征集里仅包含于特定任务无关的特征
- 通过加入正交约束，让任务无关的特征仅只出现在共享的特征集中
Vintage NLP for Work
他们提出了两种共享特征的参数，并将在第二种里加上对抗。
判别器是一个 MLP，直接把共享参数中 LSTM 最终输出作为输入。优化目标与原始的 GAN 稍有不同。
Vintage NLP for Work
判别器是一个 MLP，直接把共享参数中 LSTM 最终输出作为输入。优化目标与原始的 GAN 稍有不同。
另一方面，任务无关的特征也可能出现在非共享中，因此正交约束实际上就是让共享和非共享的特征之间相似度尽可能小。最后把所有的 loss 和任务本身的 loss 加起来就可以了。
Vintage NLP for Work
另一方面，任务无关的特征也可能出现在非共享中，因此正交约束实际上就是让共享和非共享的特征之间相似度尽可能小。最后把所有的 loss 和任务本身的 loss 加起来就可以了。
通过这种对抗，在16个数据集上做的多任务学习可以提升性能，同时加入了对抗以后性能继续提升。
Vintage NLP for Work
通过这种对抗，在16个数据集上做的多任务学习可以提升性能，同时加入了对抗以后性能继续提升。
另一方面，他们通过在15个数据集上训练，然后将共享参数固定，在剩下的1个数据集上训练，发现这种 transfer learning 也对性能有明显提升。
Vintage NLP for Work
另一方面，他们通过在15个数据集上训练，然后将共享参数固定，在剩下的1个数据集上训练，发现这种 transfer learning 也对性能有明显提升。
最后通过权重分析提取出的一些关键词如图。可以看到在没加入对抗之前，一个任务里的特征词很可能也会出现在共享特征词中(good, love 等)，而加入了对抗学习后这种词都不见了。
Adversarial Multi-Criteria Learning for Chinese Word Segmentation
https://arxiv.org/abs/1704.07556
Xinchi Chen, Zhan Shi, Xipeng Qiu, Xuanjing Huang
https://arxiv.org/abs/1704.07556
Xinchi Chen, Zhan Shi, Xipeng Qiu, Xuanjing Huang
Vintage NLP for Work
Adversarial Multi-Criteria Learning for Chinese Word Segmentation https://arxiv.org/abs/1704.07556 Xinchi Chen, Zhan Shi, Xipeng Qiu, Xuanjing Huang
本文也来自复旦，同样发表在 ACL-2017，本文解决的是人们经常关注的中文分词。
由于现在分词并没有一个固定的标准，粒度规定也各不相同，因此不同标准的语料不能互通。但是神经网络可以帮助我们做特征抽取，因此可以用来共享一部分特征。
由于现在分词并没有一个固定的标准，粒度规定也各不相同，因此不同标准的语料不能互通。但是神经网络可以帮助我们做特征抽取，因此可以用来共享一部分特征。
Vintage NLP for Work
本文也来自复旦，同样发表在 ACL-2017，本文解决的是人们经常关注的中文分词。 由于现在分词并没有一个固定的标准，粒度规定也各不相同，因此不同标准的语料不能互通。但是神经网络可以帮助我们做特征抽取，因此可以用来共享一部分特征。
中文分词一般看作序列标注问题，对每个字都打上 B、M、E、S 四种标签，表示词头、词中、词尾、单字词。最终的标注现在都由 CRF 模型处理。
他们提出的三种模型大致如上图。
他们提出的三种模型大致如上图。
Vintage NLP for Work
中文分词一般看作序列标注问题，对每个字都打上 B、M、E、S 四种标签，表示词头、词中、词尾、单字词。最终的标注现在都由 CRF 模型处理。 他们提出的三种模型大致如上图。
为了防止共享的特征中混入特定任务的特征，他们也加入了线性分类器作为判别器进行对抗，让判别器学习通过共享特征判断句子来自哪个 criterion。
Vintage NLP for Work
为了防止共享的特征中混入特定任务的特征，他们也加入了线性分类器作为判别器进行对抗，让判别器学习通过共享特征判断句子来自哪个 criterion。
另一方面，通过加入另一个对抗损失，让另一个判别器优化 criterion 的熵，从而给前一个判别器制造障碍。
Vintage NLP for Work
另一方面，通过加入另一个对抗损失，让另一个判别器优化 criterion 的熵，从而给前一个判别器制造障碍。
两个对抗loss和分词本身的 loss 线性相加。训练算法如上，先优化第二个判别器（第6行），再优化第一个判别器（第12行）。