Logistic regression为什么不用Square error做loss function?
2017-08-30 21:37
1036 查看
假设训练样本为(xi,yi),f(xi)=11+exp(−(wx+b))
采用类似Linear regression的损失函数Square error:12∑ni=1l(f(xi)−yi)2
那么令其对w求导，得到以下
12∑i=1n∂l(f(xi)−yi)∂w=12∑i=1n2l(f(xi)−yi)∂f(xi)∂w=12∑i=1n2l(f(xi)−yi)∂f(xi)∂z∂z∂w=12∑i=1n2l(f(xi)−yi)f(xi)(1−f(xi))xi
所以，
yi=0时，若f(xi)=0，则上式为0，符合loss；若f(xi)=1，则上式也为0，不符合loss；
yi=1时，若f(xi)=1，则上式为0，符合loss；若f(xi)=0，则上式也为0，不符合loss；
再看看用suqare error和cross entropy做loss function的loss surface (图片来自台大李宏毅老师课件)
采用类似Linear regression的损失函数Square error:12∑ni=1l(f(xi)−yi)2
那么令其对w求导，得到以下
12∑i=1n∂l(f(xi)−yi)∂w=12∑i=1n2l(f(xi)−yi)∂f(xi)∂w=12∑i=1n2l(f(xi)−yi)∂f(xi)∂z∂z∂w=12∑i=1n2l(f(xi)−yi)f(xi)(1−f(xi))xi
所以，
yi=0时，若f(xi)=0，则上式为0，符合loss；若f(xi)=1，则上式也为0，不符合loss；
yi=1时，若f(xi)=1，则上式为0，符合loss；若f(xi)=0，则上式也为0，不符合loss；
再看看用suqare error和cross entropy做loss function的loss surface (图片来自台大李宏毅老师课件)
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- What are the differences between maximum likelihood and minimize cross entropy loss function?
- 我为什么用 SQLite 和 FMDB 而不用 Core Data
- 为什么使用Junit Test而不用普通java main方法来完成测试?
- Nokia为什么不用Android？
- sklearn(scikit-learn) logistic regression loss(cost) function（sklearn中逻辑回归的损失函数）
- 我为什么不用Django而用Flask？
- 为什么那么多公司不用 .NET
- JavaScript的ready方法中获取某元素（如获取某个button，并设置onclick事件）的疑问？为什么要写在ready方法里，不用ready方法可以吗？
- 类方法前面为什么要用instancetype而不用id?
- 我为什么不用百度
- 2016-02-21-阅读笔记：大脑计划+3rd open GPU+ Delip质疑google Swivel中loss-function + training trick BN in DL
- 为什么用Runnable而不用Thread
- 为什么用服务不用线程-Android
- clk为什么要用posedge，而不用negedge呢？（转）
- 为什么adrl r2,mem_cfg_val这里不用ldr r2,=mem_cfg_val
- 为什么作为成员变量的类对象，不用初始化也不报错，而作为非成员变量的类对象，不初始化就会报错？
- 为什么webview.loadUrl("javascript:function() ")不执行？
- 为什么不用table布局
- 用$(window).load(function(){...})而不用body.onload()的几个理由
- 损失函数(loss function)