自然语言处理中训练集，开发集和测试集的关系
2016-03-02 11:19
253 查看
做自然语言处理相关科研的过程中，训练集，开发集和测试集是非常常见的基础性概念，对它们有清楚的理解是做科研的基础，本文给出三者的概念以及它们之间的关系。
训练集：用于训练模型的数据的集合。
开发集：是在使用训练集训练出模型后，对训练出的模型的参数进行调整的数据集合。
测试集：用于测试最终生成的模型的数据集合。
三者的关系：
训练集+测试集=所有的数据集合
训练集∩测试集= ∅
开发集⊊训练集
训练集：用于训练模型的数据的集合。
开发集：是在使用训练集训练出模型后，对训练出的模型的参数进行调整的数据集合。
测试集：用于测试最终生成的模型的数据集合。
三者的关系：
训练集+测试集=所有的数据集合
训练集∩测试集= ∅
开发集⊊训练集
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 基于语法树的语句识别算法
- 长期招聘：自然语言处理工程师
- 长期招聘：个性化推荐
- LDA学习心得
- comodo中国招聘 搜索与自然语言工程师
- 统计学习的几种方法
- mini edit distance & minimum cost alignment
- 最大熵模型介绍
- 数学之美 系列一 -- 统计语言模型
- 数学之美 系列三 -- 隐含马尔可夫模型在语言处理中的应用
- 数学之美 系列七 -- 信息论在信息处理中的应用
- 数学之美 系列八-- 贾里尼克的故事和现代语言处理
- Google 黑板報 - 數學之美系列
- 图像处理工程师的要求
- 人工智能
- 特征表示与lucene
- 号召
- 数学之美 系列一 -- 统计语言模型
- 数学之美 系列三 -- 隐含马尔可夫模型在语言处理中的应用