http://www.offconvex.org/2017/07/06/GANs3/
比较老的一篇文章，触及的问题比较核心：生成网络是不是真的做到了生成？
我们经常能看到很多文章提到 GAN 乃至所有生成模型都会有 mode collapse 问题（即学到的概率空间都坍缩到了分布的几个 mode 点上）
那么训练出来的 GAN 是不是真的有整个可能空间上的生成能力呢？它的支撑集（support）有多大？
所谓生日悖论形式上就是说一个N个大的集合，采样sqrt(N)那么多的样本后极有可能会碰到两个相同的样本。
反其道而行之并推广到连续空间上，在GAN生成的s个样本中，如果我们能从最相似的几个样本里找到相同的，那么可以认为它的支撑集至少有s^2。
本文用这个思想去研究了一系列的GAN模型得到一个比较有意义的结论：
GAN确实做到了生成（而不是去背诵训练集），但是的确有多样性太差的问题（支撑集小或者说遇到了mode collapse）。
更详细的内容可以看对应的论文：
https://arxiv.org/abs/1706.08224
比较老的一篇文章，触及的问题比较核心：生成网络是不是真的做到了生成？
我们经常能看到很多文章提到 GAN 乃至所有生成模型都会有 mode collapse 问题（即学到的概率空间都坍缩到了分布的几个 mode 点上）
那么训练出来的 GAN 是不是真的有整个可能空间上的生成能力呢？它的支撑集（support）有多大？
所谓生日悖论形式上就是说一个N个大的集合，采样sqrt(N)那么多的样本后极有可能会碰到两个相同的样本。
反其道而行之并推广到连续空间上，在GAN生成的s个样本中，如果我们能从最相似的几个样本里找到相同的，那么可以认为它的支撑集至少有s^2。
本文用这个思想去研究了一系列的GAN模型得到一个比较有意义的结论：
GAN确实做到了生成（而不是去背诵训练集），但是的确有多样性太差的问题（支撑集小或者说遇到了mode collapse）。
更详细的内容可以看对应的论文：
https://arxiv.org/abs/1706.08224
Off the convex path
Do GANs actually do distribution learning?
Algorithms off the convex path.
AdamW and Super-convergence is now the fastest way to train neural nets
http://www.fast.ai/2018/07/02/adam-weight-decay/
关于 Adam 实现问题，介绍 AdamW 和 amsgrad 的一篇文章
http://www.fast.ai/2018/07/02/adam-weight-decay/
关于 Adam 实现问题，介绍 AdamW 和 amsgrad 的一篇文章
Forwarded from MolunSays
专栏文章《构筑异世界的通用法则——日本穿越轻小说的公共想象》
本文意在探索这些由网络连载起步的异世界穿越小说中经常使用的通用法则以及相伴形成的公共想象，试图将它们从作品抽出，审视其内在逻辑，以及在作品中能够为叙事所提供的作用、能够为角色生存所提供的作用，以期为更加深入地理解这些作品的叙事逻辑以及它们的外在吸引力提供参考或是讨论的基础。
个人博客：https://molun.net/the-universal-rules-of-making-parallel-world （短网址：https://u.nu/l-a4 ）
知乎专栏：https://zhuanlan.zhihu.com/p/43566526
后记：https://molun.net/postscript-of-universal-rules/
本文意在探索这些由网络连载起步的异世界穿越小说中经常使用的通用法则以及相伴形成的公共想象，试图将它们从作品抽出，审视其内在逻辑，以及在作品中能够为叙事所提供的作用、能够为角色生存所提供的作用，以期为更加深入地理解这些作品的叙事逻辑以及它们的外在吸引力提供参考或是讨论的基础。
个人博客：https://molun.net/the-universal-rules-of-making-parallel-world （短网址：https://u.nu/l-a4 ）
知乎专栏：https://zhuanlan.zhihu.com/p/43566526
后记：https://molun.net/postscript-of-universal-rules/
MolunSays
专栏文章《构筑异世界的通用法则——日本穿越轻小说的公共想象》 本文意在探索这些由网络连载起步的异世界穿越小说中经常使用的通用法则以及相伴形成的公共想象，试图将它们从作品抽出，审视其内在逻辑，以及在作品中能够为叙事所提供的作用、能够为角色生存所提供的作用，以期为更加深入地理解这些作品的叙事逻辑以及它们的外在吸引力提供参考或是讨论的基础。 个人博客：https://molun.net/the-universal-rules-of-making-parallel-world （短网址：https://u.nu/l…
这里想简单提一下认知语言学的一个核心概念，其实与用“基模”来印证物质世界的所指有相通之处。
以往的语言学中多以范畴化为主，例如在国内曾引入并做很多研究的“成分分析法”，将舅舅定义为[+男性，+年长，+亲属]等，但这样的特征刻画实际操作中会遇到很多困难。同理我们也知道不会飞的鸟、哺乳动物的鱼，以及此文中提到的“金发长耳擅长射箭”的精灵。
因此认知中不强调严格的范畴化，而是认为有一个“原型”，再做连续的变化，例如银发、大胸等往往也有人认为是精灵。这样对于认知分析来说会更加方便。更多的可以参考 Langacker 的《认知语法基础（卷一）》。
其实说到这里大家能看出来这不就是讲模糊数学么，个人觉得这类“模糊语义学”式的方法确实有研究的意义，有想法的同学欢迎来群里拍砖。
以往的语言学中多以范畴化为主，例如在国内曾引入并做很多研究的“成分分析法”，将舅舅定义为[+男性，+年长，+亲属]等，但这样的特征刻画实际操作中会遇到很多困难。同理我们也知道不会飞的鸟、哺乳动物的鱼，以及此文中提到的“金发长耳擅长射箭”的精灵。
因此认知中不强调严格的范畴化，而是认为有一个“原型”，再做连续的变化，例如银发、大胸等往往也有人认为是精灵。这样对于认知分析来说会更加方便。更多的可以参考 Langacker 的《认知语法基础（卷一）》。
其实说到这里大家能看出来这不就是讲模糊数学么，个人觉得这类“模糊语义学”式的方法确实有研究的意义，有想法的同学欢迎来群里拍砖。
Forwarded from 少数派sspai
在线课程太多不知道怎么选？不妨试试这位 Google 工程师的选课方法 [by 浮沉之主]
http://sspai.com/post/47436
http://sspai.com/post/47436
Forwarded from Deleted Account
julia 北京面基 10-21，MSRA 的场地。核心开发者 Elliot Saba(staticfloat) 会过来做分享。
http://discourse.juliacn.com/t/topic/779
http://discourse.juliacn.com/t/topic/779
Julia中文社区
计划组织一次线下活动（北京）
时间：October 21, 2018 1:30 PM (Asia: Shanghai) (UTC) → October 21, 2018 5:30 PM (Asia: Shanghai) (UTC) 地点：北京市海淀区丹棱街5号微软大厦一号楼一楼故宫厅（50人） 报名地址：报名表 计划分享的主题及分享人： 主讲人 主题 时间 入场 13:30~13:45 Roger 一个简易的AD, YAAD.jl 13:45~14:15 提问 14:15~14:20 Jun Julia中文社区的发展及思考…
Introduction to Applied Linear Algebra – Vectors, Matrices, and Least Squares
https://web.stanford.edu/~boyd/vmls/
凸优化领域的专家 Stephen Boyd 写的，还提供了 Julia 代码 。
不过内容有点初级……有需要入门的朋友可以看看。
https://web.stanford.edu/~boyd/vmls/
凸优化领域的专家 Stephen Boyd 写的，还提供了 Julia 代码 。
不过内容有点初级……有需要入门的朋友可以看看。