您的位置:首页 > 编程语言

决策树波士顿房价预测代码难点笔记

2019-07-04 11:14 253 查看

关于中文字体不能正常显示问题:

采用matplotlib作图时默认设置下是无法显示中文的,凡是汉字都会显示成小方块。

实际上,matplotlib是支持unicode编码的,不能正常显示汉字主要是没有找到合适的中文字体,在matplotlib的配置文件C:\Python34\Lib\site-packages\matplotlib\mpl-data\matplotlibrc中,可以看到字体的默认设置如下:

#font.family         : sans-serif
#font.sans-serif     : Bitstream Vera Sans, Lucida Grande, Verdana, Geneva, Lucid, Arial, Helvetica, Avant Garde, sans-serif

可以看到,其中并没有中文字体,所以我们只要手动添加中文字体的名称就可以了。不过添加的名称并不是普通的名称,python有个字体管理器,font_manager.py,它会生成一个文件:fontList.cache(我的是在这个路径下:C:\Users\Administrator\.matplotlib);里面包含着True Type字体(.ttf文件)与Python中相应字体的对应名称,黑体simhei.ttf (windows中的字体文件)对应的名称是: “SimHei’’;楷体simkai.ttf对应的名称为’KaiTi’。你想要让汉字显示成什么字体,在其中查找对应的名称就可以了。

 

有两种方法添加“SimHei’’,’KaiTi_GB2312’等中文字体名称:

1. 直接修改配置文件matplotlibrc
       在配置文件中找到font.sans-serif的设置,然后添加需要的中文字体名称,例如:
font.sans-serif    : SimHei, Bitstream Vera Sans, Lucida Grande, Verdana, Geneva, Lucid, Arial, Helvetica, Avant Garde, sans-serif

2. 动态设置(推荐方式)
    在python脚本中动态设置matplotlibrc,这样不需要更改配置文件,方便灵活,例如:
from pylab import *
mpl.rcParams['font.sans-serif'] = ['SimHei']

 

      由于更改了字体导致显示不出负号,在配置文件中我们可以在axes相关设置里找到如下设置:

#axes.unicode_minus : True  可见默认情况下采用的是unicode的minus,看来我们选择的字体对这点支持不够,所以只要把它设置为False就可以了。

 

因此,最终需要在程序中加入如下代码,就可以正常显示汉字,并且不出现问题了。

[code]from pylab import *
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False

注意:每个要显示的汉字串前要加u,即u"汉字串"。

enumerate函数

enumerate英文翻译为枚举的意思。 可以将一个可遍历的数据对象组合为一个索引序列,同时列出数据和数据下标

枚举过程:

[code]
>>> seasons = ['Spring', 'Summer', 'Fall', 'Winter']
>>> list(enumerate(seasons))                # 默认start为0
[(0, 'Spring'), (1, 'Summer'), (2, 'Fall'), (3, 'Winter')]
>>> list(enumerate(seasons, start=1))       # start为1
[(1, 'Spring'), (2, 'Summer'), (3, 'Fall'), (4, 'Winter')]
>>> s = "ABCD"
>>> list(enumerate(s))                      # 字符串类型
[(0, 'A'), (1, 'B'), (2, 'C'), (3, 'D')]
>>> l = ["A", "B", "C", "D"]
>>> list(enumerate(l))                      # 列表类型
[(0, 'A'), (1, 'B'), (2, 'C'), (3, 'D')]
>>> t = ("A", "B", "C", "D")
>>> list(enumerate(t))                      # 元祖类型
[(0, 'A'), (1, 'B'), (2, 'C'), (3, 'D')]
>>> d = {"A": 1, "B": 2}
>>> list(enumerate(d))                      # 字典类型,枚举其key
[(0, 'A'), (1, 'B')]

python中的map函数

map函数的原型是map(function, iterable, …),它的返回结果是一个列表。

参数function传的是一个函数名,可以是python内置的,也可以是自定义的。 参数iterable传的是一个可以迭代的对象,例如列表,元组,字符串这样的。

str()是python的内置函数,这个例子是把列表/元组/字符串的每个元素变成了str类型,然后以列表的形式返回

[code]a=list(map(str,'python'))
print(a)

输出:

['p', 'y', 't', 'h', 'o', 'n']

python中filter函数

filter(function, iterable)   

参数

  • function -- 判断函数。
  • iterable -- 可迭代对象。
    [code]def is_odd(n):
    return n % 2 == 1
    
    newlist = filter(is_odd, [1, 2, 3, 4, 5, 6, 7, 8, 9, 10])
    print(newlist)

    输出结果 :

    [code][1, 3, 5, 7, 9]

    难点   x, y = np.split(data, (13,), axis=1)

  • 1

    (
    13
    ,)相当于[:
    13
    ]和[
    13
    :]这样就等于拆成了两部分,第一部分是x,第二部分是y

    1

    如果是(
    13
    ,
    14
    )就相当于三部分了[:
    13
    ],[
    13
    :
    14
    ],[
    14
    :],这种情况就需要x,y,z了

    1

    另外这个参数还可以是单个数,指的是直接把np分成若干份。

    1

    2

    data = np.arange(
    20
    )

    x, y = np.split(data, (
    13
    ,), axis=
    0
    )

    1

    x = [
    0
     
    1
     
    2
     
    3
     
    4
     
    5
     
    6
     
    7
     
    8
     
    9
    10
    11
    12

    1

    y= [
    13
    14
    15
    16
    17
    18
    19
    ]

  • #axis=1,代表列,是要把data数据集中的所有数据按第四、五列之间分割为X集和Y集。
    x, y = np.split(data, (4,), axis=1)
    1
    2
    纵向分割, 分成两部分, 按列分割

    print np.split(A, 2, axis = 1)
    1
    横向分割, 分成三部分, 按行分割

    print np.split(A, 3, axis = 0)

  •  

  • 分割函数

  • from sklearn.model_selection import train_test_split #train_test_split函数

    x = np.arange(15).reshape(-1, 3) #生成5行3列的一个矩阵

  • 此处reshape中的-1就是自动化行数,总计15个数三列那就自动是5列了

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=1)

参数含义:

x,y是原始的数据集。x_train,y_train 是原始数据集划分出来作为训练模型的,fit模型的时候用。
x_test,y_test 这部分的数据不参与模型的训练,而是用于评价训练出来的模型好坏,score评分的时候用。
test_size=0.2 测试集的划分比例
random_state=1 随机种子,如果随机种子一样,则随机生成的数据集是相同的
random_state就是为了保证程序每次运行都分割一样的训练集合测试集。否则,同样的算法模型在不同的训练集和测试集上的效果不一样。

MinMaxScaler:归一到 [ 0,1 ] 

原理

从原理中我们注意到有一个axis=0,这表示MinMaxScaler方法默认是对每一列做这样的归一化操作,这也比较符合实际应用。

[code]from sklearn import preprocessing
import numpy as np

x = np.array([[3., -1., 2., 613.],
[2., 0., 0., 232],
[0., 1., -1., 113],
[1., 2., -3., 489]])

min_max_scaler = preprocessing.MinMaxScaler()
x_minmax = min_max_scaler.fit_transform(x)
print(x_minmax)

[[1.         0.         1.         1.        ]
[0.66666667 0.33333333 0.6        0.238     ]
[0.         0.66666667 0.4        0.        ]
[0.33333333 1.         0.         0.752     ]]
 

fit,transform,fit_transform常用情况分为两大类

fit_transform(): joins the fit() and transform() method for transformation of dataset.
解释:fit_transform是fit和transform的组合,既包括了训练又包含了转换。
transform()和fit_transform()二者的功能都是对数据进行某种统一处理(比如标准化~N(0,1),将数据缩放(映射)到某个固定区间,归一化,正则化等)

fit_transform(trainData)对部分数据先拟合fit,找到该part的整体指标,如均值、方差、最大值最小值等等(根据具体转换的目的),然后对该trainData进行转换transform,从而实现数据的标准化、归一化等等。

根据对之前部分trainData进行fit的整体指标,对剩余的数据(testData)使用同样的均值、方差、最大最小值等指标进行转换transform(testData),从而保证train、test处理方式相同。所以,一般都是这么用:

[code]from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
sc.fit_tranform(X_train)
sc.tranform(X_test)


 

 

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: