Logistic回归(改进的随机梯度上升)
2016-03-12 17:07
633 查看
上一节我们讨论的随机梯度上升算法在进行迭代的过程中回归系数会出现激烈的改变,这一节我们对上一节的算法进行改进:
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
m,n = shape(dataMatrix)
weights = ones(n) #initialize to all ones
for j in range(numIter):
dataIndex = range(m)
for i in range(m):
alpha = 4/(1.0+j+i)+0.0001
randIndex = int(random.uniform(0,len(dataIndex)))
h = sigmoid(sum(dataMatrix[randIndex]*weights))
error = classLabels[randIndex] - h
weights = weights + alpha * error * dataMatrix[randIndex]
del(dataIndex[randIndex])
return weights在这个改进的算法中我们增加了两处代码,步长会随着迭代的次数增加而不断减小,但是不会减小到0,如果处理的是动态变化的问题可以适当的加大常数项。第二处改进的地方是回归系数的更新是通过随机选取样本点来进行的。这样可以减少周期性的波动。
def stocGradAscent1(dataMatrix, classLabels, numIter=150):
m,n = shape(dataMatrix)
weights = ones(n) #initialize to all ones
for j in range(numIter):
dataIndex = range(m)
for i in range(m):
alpha = 4/(1.0+j+i)+0.0001
randIndex = int(random.uniform(0,len(dataIndex)))
h = sigmoid(sum(dataMatrix[randIndex]*weights))
error = classLabels[randIndex] - h
weights = weights + alpha * error * dataMatrix[randIndex]
del(dataIndex[randIndex])
return weights在这个改进的算法中我们增加了两处代码,步长会随着迭代的次数增加而不断减小,但是不会减小到0,如果处理的是动态变化的问题可以适当的加大常数项。第二处改进的地方是回归系数的更新是通过随机选取样本点来进行的。这样可以减少周期性的波动。
相关文章推荐
- Python动态类型的学习---引用的理解
- Python3写爬虫(四)多线程实现数据爬取
- 垃圾邮件过滤器 python简单实现
- 下载并遍历 names.txt 文件,输出长度最长的回文人名。
- install and upgrade scrapy
- Scrapy的架构介绍
- Centos6 编译安装Python
- 使用Python生成Excel格式的图片
- 让Python文件也可以当bat文件运行
- [Python]推算数独
- Python中zip()函数用法举例
- Python中map()函数浅析
- Python将excel导入到mysql中
- Python在CAM软件Genesis2000中的应用
- 使用Shiboken为C++和Qt库创建Python绑定
- FREEBASIC 编译可被python调用的dll函数示例
- Python 七步捉虫法