鸡尾酒会问题与相关听觉模型的研究现状与展望
http://www.aas.net.cn/CN/abstract/abstract19432.shtml
自动化所长的一篇综述文章，可以学习一下认知科学启发下的智能研究方法。

专栏文章《轻小说中的冒险者群体速写》

“冒险者是无生计者的生计，也是无自由者的自由。”

本文通过综合不同异世界与国家下不同的冒险者制度，以及围绕这一职业的种种描写，构建作为职业的冒险者群体形象，为冒险者如何在这个世界中谋得一席之地提供一种逻辑与陈述，以试图探明冒险者从何而来，如何成长，过着怎样的生活，又将走向何方。

个人博客：https://molun.net/a-shorthand-about-adventurers-from-light-novel/
知乎专栏：https://zhuanlan.zhihu.com/p/58976944

https://www.zhihu.com/question/23980846/answer/617575802
挺喜欢这个答案的，当汉语研究更加深入以后，西方传统语言理论可能更加难以解释。而我们国家的K12阶段语文教学依然是按照西式传统沉淀下来的，因此除非大学接触现代汉语的课程，否则确实会觉得很多东西说不清楚。当然西方传统理论也越来越多地受到认知语言学的挑战。可能理论不足、教育滞后才是汉语难学的两个主要原因，而怪不得汉语的特点或者字形。

pre-training BERT with 8 GPUs in 6.5 days
https://medium.com/apache-mxnet/gluon-nlp-bert-6a489bdd3340
在部分数据上超过了BERT论文汇报的结果，总算是BERT可复现性上的一大进步。期待有人迁移到 pytorch 上。

https://drive.google.com/open?id=19GyrEmljSgH6uVKuCC5jJYdyyulvgcO-
以前做过一阵子的文本生成，应老师要求简单写了个提纲。
可随意自取，做成PDF之后貌似丢了很多附录，找不到具体文章的可以私戳我。

自动架构搜索(NAS)的相关文章列表，整理得很全面而且还在更新
https://www.automl.org/automl/literature-on-neural-architecture-search/

https://www.tandfonline.com/doi/full/10.1080/07294360.2018.1441811
学术作者如何战胜(缓解)沮丧和挫折感
https://pan.baidu.com/s/1TzFhlMjgoJCCWG34YF9hdA

Learning Neural Templates for Text Generation
https://aclweb.org/anthology/papers/D/D18/D18-1356/
Sam Wiseman, Stuart Shieber, Alexander Rush

这篇文章来自哈佛大学，发表在EMNLP2018上。本文关注的是文本生成任务，输入为餐馆相关的结构化数据。
代码：https://github.com/harvardnlp/neural-template-gen
以往常用技术手段主要有以下几类：

1. 人工写文本生成的规则：输入数据的句式、动词时态等，每个位置用某个或某类词，每个词需要用什么形态变化（大小写、单复数、阴阳性）
2. 模板挖掘：用NER、正则表达式、词典等各种资源，把数据从句子里挖掉，再按槽位做聚类或排序选出代表性模板。
3. 使用概率统计方法对句子做生成式建模
4. 用生成语法，如PCFG、HPSG等
5. 神经网络端到端模型
神经网络最近的泛化性能较好，但是引入了新的问题：无法控制要生成的内容；无法解释生成的错误。而这些问题在模板系统中是不可能发生的。因此本文希望能让二者相结合。
模板是一个有类型的片段序列，有的片段充当“骨架”，有的片段需要填充特定类型的文本或数值。这个需求用 Hidden Semi-Markov Model 可以很好地解释。

HSMM 模型与 HMM 的唯一区别在于每个隐状态可以发射不止一个的观测值序列。
本文定义隐状态为离散值，最大上限设为K。每个状态转移分布用矩阵刻画。每个片段长度为最大值L的均匀分布。发射概率使用RNN建模，使用输入表征x作为初始化，而每个RNN输入拼接上当前状态的表征。所有的状态K共享相同的RNN以减少参数。模型使用最大边际似然进行训练，学习算法与HMM中的前向后向算法相似。

在定性分析中能看出，同样的输入找出MAP隐状态序列，就能找到不同的模板。5个模板的叙述方式互不相同且区别明显。而每个隐状态对应的片段输出的内容则相似，例如国籍都是第82号状态、职业都是20等。
通过控制隐状态序列，就能控制对应模板，从而生成不同的内容，同时也有更好的解释性。

每个隐状态对应的文本片段相当于某种聚类，因此做了纯度统计，即这些词来自同一个最频繁的输入数据类型的比例，例如都是姓名词、或都是国籍词汇的占比。E2E是纯餐馆领域，模板的纯度很高，而WikiBio是人物生平，不同人物差异很大，因此纯度也低不少。

作者抽取了更多的模板，可以看到这些模板的解释性都极好。以往很多工作试图对隐状态建模，都很难解释每个隐状态如何学习、学到的又是什么，这里的每个隐状态就对应模板片段，非常直观，对其他工作也有很大借鉴意义。

深度学习理论与实战：提高篇
Posted by lili on March 14, 2019
http://fancyerii.github.io/2019/03/14/dl-book/
比较务实的在线ML电子书，覆盖的topic不太系统但是介绍得都很好

基于量子理论的语言模型的一个系统性介绍，从这个交叉领域的起点开始梳理。今年 NAACL 的一篇最佳论文的两位作者曾经都是张老师的学生，做的工作也继承了过去的一些探索。

那些酷炫的深度学习网络图怎么画出来的？
https://mp.weixin.qq.com/s/ASjckYfAxqpEpIDlmCcTVA

香侬ACL19| 中文到底需不需要分词？
https://mp.weixin.qq.com/s/Blyp8I1oFJDEh3dvww5CMQ
TL;DR: 可能神经网络模型下不需要。