Vintage NLP for Work
1.09K subscribers
266 photos
28 files
343 links
Natural Language Processing for Work

频道历史内容的网页归档:
https://www.notion.so/NLP-for-Work-af812710c3a543c2adc7acbdb3990036

For Work 系列频道
梗频道: @JISFW
图频道: @GfWR16
反馈投稿吹水群: @FishingFW

更多精彩:
https://t.me/JISFW/13392
Download Telegram
用变分推断统一理解生成模型(VAE、GAN、AAE、ALI)
https://kexue.fm/archives/5716
本文从一种新的视角阐述了变分推断,并证明了EM算法、VAE、GAN、AAE、ALI(BiGAN)都可以作为变分推断的某个特例。其中,论文也表明了标准的GAN的优化目标是不完备的,这可以解释为什么GAN的训练需要谨慎地选择各个超参数。最后,文中给出了一个可以改善这种不完备性的正则项,实验表明该正则项能增强GAN训练的稳定性。

看完感觉推导非常清楚,可能是生成模型串烧方面比较好的入门材料。
https://uclmr.github.io/nampi/
Program Synthesis 第二次 workshop 改在 ICML 2018 上进行(上一次是 NIPS 2016),这次有更多的将神经网络与传统方法(如Inductive Logic Programming)进行结合的工作,可以具体关注一下。管理狗这边跟 ACL 的有点忙不过来了 orz 欢迎看了相关文章的同学投稿(
Al-jabr-1.pdf
3.4 MB
《代数学方法:卷一》李文威
原国科大数学所老师,现北大数院教授。作者在个人主页放出了全书的预印版,一本较新的代数基础教材。
http://www.wwli.url.tw/downloads/Al-jabr-1.pdf
http://www.wwli.url.tw/index.php/zh-CN/cvitem-zh-cn
https://homepages.inf.ed.ac.uk/wadler/papers/lineartaste/lineartaste-revised.pdf
HN 有人发的一篇讲上古时代逻辑和类型理论的一个简易入门,虽然说在大规模知识图谱和深度学习流行的年代这种过于古典严格的逻辑不甚有用了,不过还是值得一看(页数少)
一般来说,现在流行的语义表示有三种。一是使用谓词-参数结构(predicate-argument),将语义表示为一阶逻辑或者其他形式。其二是结合具体任务,将语义表示为任务所需的形式语言(如python或SQL)。最后就是摒弃了符号表示的分布式(distributed)表征,并由神经网络方法取代过去的人肉特征设计(如word2vec和GloVe)。
目前最后一种表示学习方法当前较为流行,清华刘知远教授在最近暑期班上做的一个表示学习总结,可以看看。
http://nlp.csai.tsinghua.edu.cn/~lzy/talks/representation_learning_cips2018.pdf
Transfer Learning in NLP (with only 100 samples)
https://blog.feedly.com/transfer-learning-in-nlp/
deep_learning_composition.pdf
5.4 MB
Deep Learning for Semantic Composition
Xiaodan Zhu and Edward Grefenstette
Vintage NLP for Work
deep_learning_composition.pdf
ACL 2017 tutorial.

the state-of-the-art research on neural network-based modeling for semantic composition, which aims to learn distributed representation for different granularities of text, e.g., phrases, sentences, or even documents, from their sub-component meaning representation, e.g., word embedding.
https://allennlp.org/tutorials
继 Stanford CoreNLP之后又一家大机构的NLP工具开放了,这次终于是 python 写的了。AI2和UW合作之后最近几年发展迅猛,也吸收了如 Luke Zettlemoyer等教授加入。很多工具集成近些年 deep learning 的成果,可以作为 NLTK /spaCy等传统python 工具的一个补充。

http://demo.allennlp.org/machine-comprehension
这里有一些线上demo,基本覆盖了当前主要的NLP任务。