损失函数
2016-07-26 14:52
246 查看
转自支持向量机通俗导论的部分:http://blog.csdn.net/v_july_v/article/details/7624837
一、 监督学习实际是一个经验风险或结构风险函数的最优化问题。风险函数度量平均意义下模型预测的好坏,模型每 一次预测的好坏用损失函数来度量。它以假设空间 F 中选择模型 f 作为决策函数,对于给定的输入 x ,由 f(x) 给 出对应的 Y ,这个输出的预测值 f(x) 与真实值可能一致也可能不一致,用一个损失函数来度量预测错误的程度。 损失函数记为 L(Y,f(x)).
二、常用的损失函数:
三、关于如何选择模型:
监督学习有两种策略:经验风险最小化 、结构风险最小化
(1) 经验风险最小化: 经验风险最小化的策略认为,经验风险最小的模型就是最优的模型,则按照经验风险最小化求最优模型就是求解如下最优化问题:
当样本容量很小时,经验风险最小化的策略容易产生过拟合的现象。结构化风险最小化可以防止过拟合。
(2) 结构化风险最小化: 结构风险就是在经验风险的基础上加上标示模型复杂度的正则化项或罚项,结构风险定义:
其中J(f)是模型复杂度,模型 f 越复杂,J(f) 越大,模型越简单。系数拉姆塔>=0是系数,用来权衡经验风险和模型复杂度。
结构风险最小化的策略认为:结构风险最小的模型是最优的模型,所以求最优的模型就是求解下面的最优化问题:
一、 监督学习实际是一个经验风险或结构风险函数的最优化问题。风险函数度量平均意义下模型预测的好坏,模型每 一次预测的好坏用损失函数来度量。它以假设空间 F 中选择模型 f 作为决策函数,对于给定的输入 x ,由 f(x) 给 出对应的 Y ,这个输出的预测值 f(x) 与真实值可能一致也可能不一致,用一个损失函数来度量预测错误的程度。 损失函数记为 L(Y,f(x)).
二、常用的损失函数:
三、关于如何选择模型:
监督学习有两种策略:经验风险最小化 、结构风险最小化
(1) 经验风险最小化: 经验风险最小化的策略认为,经验风险最小的模型就是最优的模型,则按照经验风险最小化求最优模型就是求解如下最优化问题:
当样本容量很小时,经验风险最小化的策略容易产生过拟合的现象。结构化风险最小化可以防止过拟合。
(2) 结构化风险最小化: 结构风险就是在经验风险的基础上加上标示模型复杂度的正则化项或罚项,结构风险定义:
其中J(f)是模型复杂度,模型 f 越复杂,J(f) 越大,模型越简单。系数拉姆塔>=0是系数,用来权衡经验风险和模型复杂度。
结构风险最小化的策略认为:结构风险最小的模型是最优的模型,所以求最优的模型就是求解下面的最优化问题:
相关文章推荐
- WeakHashMap和HashMap的区别
- 环形链表 有m个人围成一圈,开始报数,报道n,退出,问最后剩下的是几号。
- 如何添加plist文件到场景中
- Linux中的task_struct结构体
- Oracle-定时任务
- Javascript高级程序设计复习——第五章引用类型 【原创】
- BrowserSync-多浏览器测试工具
- mysql无法优化的sql案例
- 批量删除mongo collections
- listview 带轮播的上拉刷新下拉刷新
- vSphere 配置开机自启动虚拟机
- [Android][Android Studio] *.jar 与 *.aar 的生成与*.aar导入项目方法
- Emmet:HTML/CSS代码快速编写神器
- [XUPort笔记]修改的XUPorter,提供代码编辑
- javascript读取出字符串中每个字符出现次数
- 文本关键词提取算法及自动摘要
- MJ 的使用
- JavaScript
- 【CloudFoundry】架构、设计参考
- #NOIP 2014# day.2 T2 寻找道路