hadoop项目实战--ETL--（二）实现自动向mysql中添加数据

四 项目开发

1 创建数据库db_etl,新建两张表user 和oder。表结构如第一部分图所示。

2 编写python脚本，实现自动向mysql中插入数据。

新建python 项目，目录结构如下图



编写代码如下：

# _*_ coding:UTF-8 _*_
'''
Created on 2016年12月1日

@author: duking
'''
import MySQLdb
import random,string
import time
import threading
'''
数据库连接
'''
def ConnMysql():
#连接数据库
conn = MySQLdb.connect(host = "192.168.0.154", user = 'root', passwd = '123456', db = 'db_etl', charset = 'utf8')
cursor = conn.cursor()
return conn,cursor

'''
插入user数据
'''
def AddUserInfo(username,passwd):

conn,cursor = ConnMysql()

sql = "insert into userinfo(username,passwd) values(%s,%s)"

param = (username,passwd)

cursor.execute(sql,param)

conn.commit()
cursor.close()
conn.close()

'''
插入order数据
'''
def AddOderInfo(warename,price):

conn,cursor = ConnMysql()

sql = "insert into oderinfo(warename,price) values(%s,%s)"

param = (warename,price)

cursor.execute(sql,param)

conn.commit()
cursor.close()
conn.close()

'''
随机产生字符串
'''
def Random_Str(randomlength):
a = list(string.ascii_letters)
random.shuffle(a)
return ''.join(a[:randomlength])

#随机生成订单信息
def MakeOderInfo(threadname):
while(True):
#随机10~100秒生成一条Oder信息
time.sleep(random.randint(10,100))
AddOderInfo(Random_Str(random.randint(6,10)),float(round(random.uniform(10,100),2)))
print threadname + ':a new OderInfo is Maked    ' + time.ctime(time.time())

#随机生成用户信息
def MakeUserInfo(threadname):
while(True):
time.sleep(random.randint(20,100))
AddUserInfo(Random_Str(random.randint(6,10)),Random_Str(random.randint(6,10)))
print threadname + ':a new UserInfo is Maked    ' +time.ctime(time.time())

#python 模块的入口：main函数
if __name__ == '__main__':

#多线程
thread_1 = threading.Thread(target=MakeOderInfo,args=('thread_1', ))
thread_2 = threading.Thread(target=MakeUserInfo,args=('thread_2', ))

#启动线程
thread_1.start()
thread_2.start()

注意：python调用mysql需要引入MySQLdb模块，改模块的安装请看另外的教程

最后，将写好的python在linux中运行。

运行后查看数据库就可以看见数据在不断的增长了。