https://www.bilibili.com/video/av21129453
related work: https://arxiv.org/abs/1802.04443

The Annotated Transformer: Line-by-Line PyTorch implementation of "Attention is All You Need"
http://nlp.seas.harvard.edu/2018/04/03/attention.html

#硬广 深圳-火光摇曳招聘
http://mp.weixin.qq.com/s/XLPfgOm8El0Kn88JaESNig
大家可能看过《正态分布的前世今生》，《LDA数学八卦》等小文，以及广点通组的《语义分析的一些方法》系列博客等，其作者暨前鹅厂 T4 专家 rickjin 创业的新公司，深圳的同学可以看看。

Text Embedding Models Contain Bias. Here's Why That Matters.
https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Google 一篇 blog 讨论了一系列相关文献，研究不同的词向量模型可能引入偏见的问题。

如图，即使我们选择了最好（如AUC分数最高）的一批词向量，对于一些目标词，系统仍然会倾向于将其与特定属性词联系起来，例如数学跟男性更相近、艺术和女性更相近；男性人名更接近事业、女性人名更接近家庭。

这些训练好的词向量一旦由开发者直接用到下游应用中，很可能产生一些预期之外的结果。

Automating Inference, Learning, and Design using Probabilistic Programming
Ph.D. Thesis
https://twitter.com/tom_rainforth/status/984749361845493760

Thread on how to review papers about generic improvements to GANs
Part1: https://threadreaderapp.com/thread/978339478560415744.html
Part2: https://threadreaderapp.com/thread/978342147819683841.html

计算所的某中二青年写的 AdaDelta 优化器介绍
http://www.cnblogs.com/neopenx/p/4768388.html
总结得还挺不错的

一个无需流形基础的介绍李群的小册子，适合快速入门
https://arxiv.org/pdf/math-ph/0005032.pdf

https://twitter.com/alanyttian/status/988242167998148608
新玩具（

https://medium.com/@mijordan3/artificial-intelligence-the-revolution-hasnt-happened-yet-5e1d5812e1e7
Michael Jordan 上 Medium 的第一篇文章，站在一个非常宏观的视角上，比较独到地提出了 AI、intelligence augmentation、intelligence infrastructure 三个不同方向的“智能”实现。

TorusE: Knowledge Graph Embedding on a Lie Group
https://arxiv.org/abs/1711.05435

这篇文章来自日本综研大，发表在今年的AAAI2018 上。因为这是第一次在频道里推知识图谱表示学习的文章，这里先解释一下应用背景。
现有的知识图谱一般比较稀缺，除了从文本中继续抽取补足之外，还有一种办法是基于现有知识图谱，利用实体和关系之间的相似性推断出缺失的事实，假如特朗普的国籍信息缺失，通过他和党派、职业等属性和小布什的相似性，就可以猜测他也具有美国国籍。
传统做法是符号推理和抽取规则的方法，但是知识图谱规模巨大，符号式方法已经不能用了。
更多工作就使用数值计算的方法，用神经网络学习出实体的向量表征。

由于 word2vec 的词向量相加减可以表示语义（即近似有 king - man = queen - woman），这里对知识图谱也加上类似的约束。
例如针对（忘情水，歌手，刘德华）这样的知识图谱三元组，TransE 方法希望学习其向量得到“忘情水+歌手=刘德华”。
但是，具体训练时，TransE 假设这些向量是欧式空间一个超球面上的，如上左图所示，这个假设实际上与上述等式相悖。

本文提出了 Knowledge Graph on a Lie Group，KGLG 模型，在这个意义下，TransE只是一个特例（建立在实欧式空间上的KGLG）。
他们选择了 Torus 来替代欧式空间。学出来的如右图所示。
它是紧的，从而去掉超球面假设也不会导致向量发散；它是李群，则可以定义出一个可微分的度量用于优化，即f(h,r,t)= d(h+r, t)。

这个模型从代数着手，即保留了 TransE 的简洁，又在各项指标上超越或比肩于目前的最佳模型，非常漂亮。

Deep Active Learning for Named Entity Recognition
https://twitter.com/AnimaAnandkumar/status/990813482936225792

一份极其入门的机器学习教程，以slides风格组织，对公式恐惧症患者非常友好。
来自来自SAP的梁劲（Jim Liang）。
https://www.dropbox.com/sh/c3l3zrhvbxjsso3/AAD8vI21DW81c7gatikRlv6Fa?dl=0

自然语言生成专家 Reiter 教授的一篇 blog 中提出了一个例子讲述为什么现有自动化评价指标不可信，甚至人工评价都有些困难。
https://ehudreiter.com/2017/05/03/metrics-nlg-evaluation/
EMNLP 2017 也有一篇相似工作，分析了自动化指标和人工评价的统计相关性
http://aclweb.org/anthology/D17-1238

https://medium.com/@ilblackdragon/program-synthesis-papers-at-iclr-2018-3d3fd3b24464
Program Synthesis (and Neural Architecture Search) in ICLR2018