ZKX's LAB

指数型效用函数 是否可以通过增加神经网络的深度来提高其性能?

2020-10-02知识8

柯布 道格拉斯偏好的具体意义是什么 柯布一道格拉斯偏好(Cobb-Douglas Preferences):消费者对两种商品的消费量与收入成正比,且对一种商品的消费与另一种商品的价格无关。是一种由柯布-道格拉斯效用函数代表的偏好。柯布-道格拉斯效用函数:其中,c和d都是描述消费者偏好的正数。

指数型效用函数 是否可以通过增加神经网络的深度来提高其性能?

为什么有些城市会「收入低,物价高」,有经济学原因吗?

指数型效用函数 是否可以通过增加神经网络的深度来提高其性能?

是否可以通过增加神经网络的深度来提高其性能? 深度学习的根本理论问题之一是「深度有何作用」?虽然增加神经网络的层数可以提高其性能,但是训练和优化的难度也随之增加。本文却给出了一个相反观点,有时增加深度反而可以加速网络优化;同时提出端到端更新规则,证明深度网络过度的参数化(overparameterization)也可能是件好事。深度学习理论中有一个根本的问题:即「网络的深度有何作用?传统观点(如:Eldan&Shamir 2016;Raghu et al.2017;Lee et al.2017;Cohen et al.2016;Daniely 2017)认为添加隐藏层可以提升网络表现力。但是往往这种能力的提升需要付出一定的代价—网络越深,优化越难(此即梯度消失或梯度爆炸问题)。最近有关「landscape characterization」的工作其实就隐含地采用了这种世界观,虽然看起来不明显(Kawaguchi 2016;Hardt&Ma 2017;Choromanska et al.2015;Haeffele&Vidal 2017;Soudry&Carmon 2016;Safran&Shamir 2017)。他们证明了在深度网络目标中有关局部最小值与鞍点的理论。本文作者与 Sanjeev Arora 以及 Elad Hazan 合作的新论文《On the Optimization of Deep Networks:Implicit Acceleration by Overparameterization》给出了一个反直观的观点,文章认为,有时增加深度反而可以加速。

指数型效用函数 是否可以通过增加神经网络的深度来提高其性能?

Maria总是把她收入的1/3用于买衣服,求她对衣服的需求收入弹性? 是1,这是因为总是把收入的某个固定比例用于一种商品,那就是Cobby-Douglas型效用函数,指数就是那个固定比例。

一个已知胜率和赔率的赌局,怎样下注让财富增加得最快? 假设你有1块钱,每次有70/100的机会让投资的资产增倍。30/100的机会让投资资产变0,每次应该用财富的多少…

如何理解 2017 年诺贝尔经济学奖得主 Thaler 的贡献?他的研究在我们生活中有什么实际应用? Update 1:有评论提到了普林斯顿大学出版社即将出版John Campbell新书:《金融决策与市场:一课资产定价…

反应函数如何推导? 根据对方在两种决策之间选择的概率以及自己的收益,确定自己的最优反应,做出函数,然后通过图解,可以找到均衡点。是博弈论中的基础概念之一。

#道格拉斯

随机阅读

qrcode
访问手机版