Fundamental Semantics and Pragmatics tutorial
http://faculty.washington.edu/ebender/papers/Bender-ACL2018-tutorial.pdf
http://faculty.washington.edu/ebender/papers/Bender-ACL2018-tutorial.pdf
用变分推断统一理解生成模型(VAE、GAN、AAE、ALI)
https://kexue.fm/archives/5716
本文从一种新的视角阐述了变分推断,并证明了EM算法、VAE、GAN、AAE、ALI(BiGAN)都可以作为变分推断的某个特例。其中,论文也表明了标准的GAN的优化目标是不完备的,这可以解释为什么GAN的训练需要谨慎地选择各个超参数。最后,文中给出了一个可以改善这种不完备性的正则项,实验表明该正则项能增强GAN训练的稳定性。
看完感觉推导非常清楚,可能是生成模型串烧方面比较好的入门材料。
https://kexue.fm/archives/5716
本文从一种新的视角阐述了变分推断,并证明了EM算法、VAE、GAN、AAE、ALI(BiGAN)都可以作为变分推断的某个特例。其中,论文也表明了标准的GAN的优化目标是不完备的,这可以解释为什么GAN的训练需要谨慎地选择各个超参数。最后,文中给出了一个可以改善这种不完备性的正则项,实验表明该正则项能增强GAN训练的稳定性。
看完感觉推导非常清楚,可能是生成模型串烧方面比较好的入门材料。
https://uclmr.github.io/nampi/
Program Synthesis 第二次 workshop 改在 ICML 2018 上进行(上一次是 NIPS 2016),这次有更多的将神经网络与传统方法(如Inductive Logic Programming)进行结合的工作,可以具体关注一下。管理狗这边跟 ACL 的有点忙不过来了 orz 欢迎看了相关文章的同学投稿(
Program Synthesis 第二次 workshop 改在 ICML 2018 上进行(上一次是 NIPS 2016),这次有更多的将神经网络与传统方法(如Inductive Logic Programming)进行结合的工作,可以具体关注一下。管理狗这边跟 ACL 的有点忙不过来了 orz 欢迎看了相关文章的同学投稿(
https://github.com/jozefg/learn-tt
https://www.cs.uoregon.edu/research/summerschool/summer12/curriculum.html
http://purelytheoretical.com/sywtltt.html
Some useful materials on #TypeTheory #ProofTheory and #CategoryTheory
https://www.cs.uoregon.edu/research/summerschool/summer12/curriculum.html
http://purelytheoretical.com/sywtltt.html
Some useful materials on #TypeTheory #ProofTheory and #CategoryTheory
GitHub
GitHub - jozefg/learn-tt: A collection of resources for learning type theory and type theory adjacent fields.
A collection of resources for learning type theory and type theory adjacent fields. - jozefg/learn-tt
Al-jabr-1.pdf
3.4 MB
《代数学方法:卷一》李文威
原国科大数学所老师,现北大数院教授。作者在个人主页放出了全书的预印版,一本较新的代数基础教材。
http://www.wwli.url.tw/downloads/Al-jabr-1.pdf
http://www.wwli.url.tw/index.php/zh-CN/cvitem-zh-cn
原国科大数学所老师,现北大数院教授。作者在个人主页放出了全书的预印版,一本较新的代数基础教材。
http://www.wwli.url.tw/downloads/Al-jabr-1.pdf
http://www.wwli.url.tw/index.php/zh-CN/cvitem-zh-cn
https://homepages.inf.ed.ac.uk/wadler/papers/lineartaste/lineartaste-revised.pdf
HN 有人发的一篇讲上古时代逻辑和类型理论的一个简易入门,虽然说在大规模知识图谱和深度学习流行的年代这种过于古典严格的逻辑不甚有用了,不过还是值得一看(页数少)
HN 有人发的一篇讲上古时代逻辑和类型理论的一个简易入门,虽然说在大规模知识图谱和深度学习流行的年代这种过于古典严格的逻辑不甚有用了,不过还是值得一看(页数少)
Vintage NLP for Work
Fundamental Semantics and Pragmatics tutorial http://faculty.washington.edu/ebender/papers/Bender-ACL2018-tutorial.pdf
https://medium.com/huggingface/learning-meaning-in-natural-language-processing-the-semantics-mega-thread-9c0332dfe28e
各路大佬们吵了一周关于语义如何产生的问题,这篇总览还不错。语义的基础知识可以 refer to 上面这个 ACL2018 的 tutorial
各路大佬们吵了一周关于语义如何产生的问题,这篇总览还不错。语义的基础知识可以 refer to 上面这个 ACL2018 的 tutorial
Medium
⛵ Learning Meaning in Natural Language Processing - The Semantics Mega-Thread
In which Twitter talked about meaning, semantics, language models, learning Thai and Java, entailment, co-reference - all in one…
一般来说,现在流行的语义表示有三种。一是使用谓词-参数结构(predicate-argument),将语义表示为一阶逻辑或者其他形式。其二是结合具体任务,将语义表示为任务所需的形式语言(如python或SQL)。最后就是摒弃了符号表示的分布式(distributed)表征,并由神经网络方法取代过去的人肉特征设计(如word2vec和GloVe)。
目前最后一种表示学习方法当前较为流行,清华刘知远教授在最近暑期班上做的一个表示学习总结,可以看看。
http://nlp.csai.tsinghua.edu.cn/~lzy/talks/representation_learning_cips2018.pdf
目前最后一种表示学习方法当前较为流行,清华刘知远教授在最近暑期班上做的一个表示学习总结,可以看看。
http://nlp.csai.tsinghua.edu.cn/~lzy/talks/representation_learning_cips2018.pdf
Q&A with Yoshua Bengio
https://www.cifar.ca/news/news/2018/08/01/q-a-with-yoshua-bengio
https://www.cifar.ca/news/news/2018/08/01/q-a-with-yoshua-bengio
CIFAR
News
CIFAR connects the world’s best minds to address humanity’s greatest challenges. CIFAR brings together outstanding researchers from across disciplines and borders to address important challenges facing the world. We support leading edge research with the…
Transfer Learning in NLP (with only 100 samples)
https://blog.feedly.com/transfer-learning-in-nlp/
https://blog.feedly.com/transfer-learning-in-nlp/
deep_learning_composition.pdf
5.4 MB
Deep Learning for Semantic Composition
Xiaodan Zhu and Edward Grefenstette
Xiaodan Zhu and Edward Grefenstette
Vintage NLP for Work
deep_learning_composition.pdf
ACL 2017 tutorial.
the state-of-the-art research on neural network-based modeling for semantic composition, which aims to learn distributed representation for different granularities of text, e.g., phrases, sentences, or even documents, from their sub-component meaning representation, e.g., word embedding.
the state-of-the-art research on neural network-based modeling for semantic composition, which aims to learn distributed representation for different granularities of text, e.g., phrases, sentences, or even documents, from their sub-component meaning representation, e.g., word embedding.
https://allennlp.org/tutorials
继 Stanford CoreNLP之后又一家大机构的NLP工具开放了,这次终于是 python 写的了。AI2和UW合作之后最近几年发展迅猛,也吸收了如 Luke Zettlemoyer等教授加入。很多工具集成近些年 deep learning 的成果,可以作为 NLTK /spaCy等传统python 工具的一个补充。
http://demo.allennlp.org/machine-comprehension
这里有一些线上demo,基本覆盖了当前主要的NLP任务。
继 Stanford CoreNLP之后又一家大机构的NLP工具开放了,这次终于是 python 写的了。AI2和UW合作之后最近几年发展迅猛,也吸收了如 Luke Zettlemoyer等教授加入。很多工具集成近些年 deep learning 的成果,可以作为 NLTK /spaCy等传统python 工具的一个补充。
http://demo.allennlp.org/machine-comprehension
这里有一些线上demo,基本覆盖了当前主要的NLP任务。
allennlp.org
AllenNLP is a free, open-source natural language processing platform for building state of the art models.