您的位置:首页 > 业界新闻

项目背景介绍——某大型互联网企业用户上网行为日志分析系统

2014-01-07 09:23 831 查看
 

项目目的
• 通过分析,用户的上网日志,来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销
• 同时记录用户的上网行为,可以掌握用户的上网情况,如时间、频次等
实际生产环境

• 每天约有 5T 的数据
• 实际运行节点到达 100
• 涉及到技术 Hadoop,Hive,HBase,Zookeeper,Ozzie

第二部分: 项目架构


 

第三部分: 环境搭建
• Hadoop
• HBase
• Hive
• Zookeeper
• Oozie
HBase 安装 

• 安装前提

• Hadoop 安装成功
• 软件准备

• Hbase -0.92.0.tar.gz

步骤 

• 解压

• tar – zxvf hbase-0.92.0.tar.gz
• 配置环境变量

• vi . bash_profile

• 加入:

• export HBASE_HOME=/home/ hbase

• export PATH=$HBASE_HOME/bin

配置HBase

• 进入 / hbase_home /conf/

• Vi hbase-env.sh

• 加入

• export JAVA_HOME=your java_home

• export HBASE_MANAGERS_ZK=false

• export HBASE_HOME=your hbase home

• export HADOOP_INSTALL=your hadoop home

• 进入 / hbase_home /conf/

• Vi hbase-site.xml

• 加入

• <property>

• <name> hbase.rootdir </name>

• <value>hdfs://localhost:9000/hbase</value>

• </property>

• <property>

• <name> hbase.cluster.distributed </name>

• <value>true</value>

• </property>

• <property>

• <name> hbase.master </name>

• <value>localhost:60000</value>

• </property>

• <property>

• <name> hbase.master.port </name>

• <value>60000</value>

• </property>

Vi hbase_home/conf/regionservers

加入localhost

 

 

Zookeeper安装
• 软件准备

• zookeeper -3.4.3.tar.gz
• 解压

• Tar – zxvf zookeeper-3.4.3.tar.gz
• 配置环境变量

• Vi bash _profile

• Export ZOOKEEPER _HOME=/home/zookeeper-3.4.3

• Export PATH =$ZOOKEEPER_HOME/bin

• 打开

• Zookeeper/home/conf/zoo.cfg

• 加入

• tickTime =2000

• dataDir =home/xxx/zookeeper

• clientPort =2181
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: