machine learning for hacker记录(1) R与机器学习
2013-09-18 13:49
218 查看
开篇:首先这本书的名字很霸气,全书内容讲的是R语言在机器学习上面的应用,一些基本的分类算法(tree,SVM,NB),回归算法,智能优化算法,维度约减等,机器学习领域已经有很多成熟的R工具箱,毕竟这个领域被统计学称霸了十多年,常用R工具箱都可以在这里面找到http://www.rdatamining.com/docs,http://www.mloss.org/software/
本书第一张介绍了R以及相应包的安装,同时拿了UFO数据集进行练手,数据集以及源码网上都有的
首先加载数据集(博客园的插入代码不支持R语言!!!!)
read.* 有好多函数csv,csv2,table,delim等,具体的操作可以查看帮助文档?read.delim,这里面第一个参数路径,sep文本的分隔符,stringsAsFactors 是否转化为因子变量,header 是否有文件头 ,na.strings缺失值的处理;
加载数据集后 看看文件的头六个样本或最后六个样本(head(ufo)/tail(ufo))
数据集中包含61869个instance,5个feature,v1,v2是第一次看到ufo的时间,向当局报道看见ufo的时间,v3是目击者所在的城市,所在的州,v4对ufo的短描述,v5看见ufo持续的时间,v6长描述
可以把v1~v6换成我们自己定义的名词
看到第1,2个feature 时间是字符串型的,这里可以转化为R的时间格式
结果出错了,执行下面语句发现 某些样本的日期有问题
这条语句的意思就是 把数据集中第一列跟第二列的字符长度不为8的 样本找出来并取前六个看看,可以看出有些样本的日期字符串是异常的,接下来看看到底有多少个这样的样本。
有730个这样的样本
这里good.rows 得到了 日期完整的样本index
更新ufo,并转化日期字符串为R内置的日期格式
可以看到Location 特征是一个字符串,包含城市跟州的信息,现在想把城市跟州拆分作为两列加入到ufo数据集中。
首先定义一个函数
trycatch是异常函数,gsub是正则函数,把字符串首字符为空格的去掉,最后判断得到的clean.location的list是否长度为2,就是一个为城市一个为州,如果比如Location里面城市跟州之间有好多个逗号,那么也会被返回NA的。
把这个函数应用到数据集上
用到了lapply(list-apply)函数,形式apply(vector,function),然后返回特定结果
这里返回了list链表
在ufo后面添加2列特征,其中USState把字母转化成了小写;
下面接着把数据集中不在美国的的样本 城市跟州都定为NA,接着抽取发生在美国的UFO样本
ufo.us就是发生在美国目击ufo的样本,ufo.us类似跟ufo一样是个数据框,是ufo的subset
现在通过summary函数观察一下各个特征的5个统计数
可以看到最早的在1400年 就看到了。。最早至第一个四分位的时间跨度有点大,可以看看整个数据集样本的时间分布直方图看一看
ggsave是保存图片,也可以通过print(quick.hist)来打印至屏幕
可以看出大部分时间在1960之后,继续精简数据集
对新数据集画直方图
本书第一张介绍了R以及相应包的安装,同时拿了UFO数据集进行练手,数据集以及源码网上都有的
首先加载数据集(博客园的插入代码不支持R语言!!!!)
ufo <- read.delim(file.path("data", "ufo", "ufo_awesome.tsv"), sep = "\t", stringsAsFactors = FALSE, header = FALSE, na.strings = "")
read.* 有好多函数csv,csv2,table,delim等,具体的操作可以查看帮助文档?read.delim,这里面第一个参数路径,sep文本的分隔符,stringsAsFactors 是否转化为因子变量,header 是否有文件头 ,na.strings缺失值的处理;
加载数据集后 看看文件的头六个样本或最后六个样本(head(ufo)/tail(ufo))
数据集中包含61869个instance,5个feature,v1,v2是第一次看到ufo的时间,向当局报道看见ufo的时间,v3是目击者所在的城市,所在的州,v4对ufo的短描述,v5看见ufo持续的时间,v6长描述
可以把v1~v6换成我们自己定义的名词
names(ufo) <- c("DateOccurred" , "DateReported" , "Location", "ShortDescription", "Duration", "LongDescription")
看到第1,2个feature 时间是字符串型的,这里可以转化为R的时间格式
ufo$DateOccurred<-as.Date(ufo$DateOccurred,format="%Y%m%d");
结果出错了,执行下面语句发现 某些样本的日期有问题
head(ufo[which(nchar(ufo$DateOccurred)!=8 | nchar(ufo$DateReported)!=8),1]) [1] "0000" [2] "Callers report sighting a number of soft white balls of lights headingin an easterly directing then changing direction to the west beforespeeding off to the north west." [3] "0000" [4] "0000" [5] "0000" [6] "0000"
这条语句的意思就是 把数据集中第一列跟第二列的字符长度不为8的 样本找出来并取前六个看看,可以看出有些样本的日期字符串是异常的,接下来看看到底有多少个这样的样本。
> good.rows <- ifelse(nchar(ufo$DateOccurred) != 8 | nchar(ufo$DateReported) != 8,FALSE,TRUE) > length(which(!good.rows)) [1] 730
有730个这样的样本
这里good.rows 得到了 日期完整的样本index
更新ufo,并转化日期字符串为R内置的日期格式
ufo <- ufo[good.rows, ] ufo$DateOccurred <- as.Date(ufo$DateOccurred, format = "%Y%m%d") ufo$DateReported <- as.Date(ufo$DateReported, format = "%Y%m%d")
可以看到Location 特征是一个字符串,包含城市跟州的信息,现在想把城市跟州拆分作为两列加入到ufo数据集中。
首先定义一个函数
get.location <- function(l) { split.location <- tryCatch(strsplit(l, ",")[[1]],error = function(e) return(c(NA, NA))) clean.location <- gsub("^ ","",split.location) if (length(clean.location) > 2) { return(c(NA,NA)) } else { return(clean.location) } }
trycatch是异常函数,gsub是正则函数,把字符串首字符为空格的去掉,最后判断得到的clean.location的list是否长度为2,就是一个为城市一个为州,如果比如Location里面城市跟州之间有好多个逗号,那么也会被返回NA的。
把这个函数应用到数据集上
> city.state <- lapply(ufo$Location, get.location) > head(city.state) [[1]] [1] "Iowa City" "IA" [[2]] [1] "Milwaukee" "WI" [[3]] [1] "Shelton" "WA" [[4]] [1] "Columbia" "MO" [[5]] [1] "Seattle" "WA" [[6]] [1] "Brunswick County" "ND"
用到了lapply(list-apply)函数,形式apply(vector,function),然后返回特定结果
这里返回了list链表
> location.matrix <- do.call(rbind, city.state) > ufo <- transform(ufo, + USCity = location.matrix[, 1], + USState = tolower(location.matrix[, 2]), + stringsAsFactors = FALSE)
在ufo后面添加2列特征,其中USState把字母转化成了小写;
下面接着把数据集中不在美国的的样本 城市跟州都定为NA,接着抽取发生在美国的UFO样本
us.states<-c('ak','al','ar','az','ca','co','ct','de','fl','ga' ,'hi','ia','id','il','in','ks','ky','la','ma','md' ,'me','mi','mn','mo','ms','mt','nc','nd','ne','nh' ,'nj','nm','nv','ny','oh','ok','or','pa','ri','sc' ,'sd','tn','tx','ut','va','vt','wa','wi','wv','wy') ufo$USState <- us.states[match(ufo$USState, us.states)] ufo$USCity[is.na(ufo$USState)] <- NA 8 ufo.us <- subset(ufo, !is.na(ufo$USState))
ufo.us就是发生在美国目击ufo的样本,ufo.us类似跟ufo一样是个数据框,是ufo的subset
现在通过summary函数观察一下各个特征的5个统计数
> summary(ufo.us$DateOccurred) Min. 1st Qu. Median Mean 3rd Qu. Max. "1400-06-30" "1999-09-06" "2004-01-10" "2001-02-13" "2007-07-26" "2010-08-30"
可以看到最早的在1400年 就看到了。。最早至第一个四分位的时间跨度有点大,可以看看整个数据集样本的时间分布直方图看一看
quick.hist <- ggplot(ufo.us, aes(x = DateOccurred)) + geom_histogram() + scale_x_date(breaks = "80 years") ggsave(plot = quick.hist, filename = file.path("images", "quick_hist.pdf"), height = 6, width = 8)
ggsave是保存图片,也可以通过print(quick.hist)来打印至屏幕
可以看出大部分时间在1960之后,继续精简数据集
ufo.us <- subset(ufo.us, DateOccurred >= as.Date("1990-01-01")) nrow(ufo.us)
对新数据集画直方图
相关文章推荐
- machine learning for hacker记录(2) 数据分析
- machine learning for hacker记录(3) 贝叶斯分类器
- machine learning for hacker记录(4) 智能邮箱(排序学习&推荐系统)
- Stanford 机器学习笔记 Week6 Advice for Applying Machine Learning
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 12 Quiz
- 笔记: 斯坦福大学机器学习第十课“应用机器学习的建议(Advice for applying machine learning)”
- 【deeplearning.ai笔记第二课】1.3 机器学习基本方法(Basic recipe for machine learning)
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 14 Quiz
- Feature Selection For Machine Learning in Python (Python机器学习中的特征选择)
- 机器学习笔记-advice for applying machine learning
- 机器学习(4)-应用机器学习的建议_Advice for Applying Machine Learning
- 机器学习概要 Machine Learning for Humans-Vishal Maini
- 斯坦福大学机器学习第十课“应用机器学习的建议(Advice for applying machine learning)”
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 4 Quiz
- 机器学习文献(一)Systematic Analysis of Machine Learning Algorithms on EEG Data for Brain State Intelligence
- 机器学习的三个基本量纲 Three Fundamental Dimensions for Thinking About Machine Learning Systems
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 1 Quiz
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 5 Quiz
- 机器学习中的神经网络Neural Networks for Machine Learning:Lecture 2 Quiz
- 机器学习中的神经网络Neural Networks for Machine Learning:Programming Assignment 2: Learning Word Representatio