项目背景介绍——某大型互联网企业用户上网行为日志分析系统
2014-01-07 09:23
831 查看
项目目的
• 通过分析,用户的上网日志,来分析用户的一些访问行为喜好。进而进行精准的广告投放与营销
• 同时记录用户的上网行为,可以掌握用户的上网情况,如时间、频次等
实际生产环境
• 每天约有 5T 的数据
• 实际运行节点到达 100
• 涉及到技术 Hadoop,Hive,HBase,Zookeeper,Ozzie
第二部分: 项目架构
第三部分: 环境搭建
• Hadoop
• HBase
• Hive
• Zookeeper
• Oozie
HBase 安装
• 安装前提
• Hadoop 安装成功
• 软件准备
• Hbase -0.92.0.tar.gz
步骤
• 解压
• tar – zxvf hbase-0.92.0.tar.gz
• 配置环境变量
• vi . bash_profile
• 加入:
• export HBASE_HOME=/home/ hbase
• export PATH=$HBASE_HOME/bin
配置HBase
• 进入 / hbase_home /conf/
• Vi hbase-env.sh
• 加入
• export JAVA_HOME=your java_home
• export HBASE_MANAGERS_ZK=false
• export HBASE_HOME=your hbase home
• export HADOOP_INSTALL=your hadoop home
• 进入 / hbase_home /conf/
• Vi hbase-site.xml
• 加入
• <property>
• <name> hbase.rootdir </name>
• <value>hdfs://localhost:9000/hbase</value>
• </property>
• <property>
• <name> hbase.cluster.distributed </name>
• <value>true</value>
• </property>
• <property>
• <name> hbase.master </name>
• <value>localhost:60000</value>
• </property>
• <property>
• <name> hbase.master.port </name>
• <value>60000</value>
• </property>
Vi hbase_home/conf/regionservers
加入localhost
Zookeeper安装
• 软件准备
• zookeeper -3.4.3.tar.gz
• 解压
• Tar – zxvf zookeeper-3.4.3.tar.gz
• 配置环境变量
• Vi bash _profile
• Export ZOOKEEPER _HOME=/home/zookeeper-3.4.3
• Export PATH =$ZOOKEEPER_HOME/bin
• 打开
• Zookeeper/home/conf/zoo.cfg
• 加入
• tickTime =2000
• dataDir =home/xxx/zookeeper
• clientPort =2181
相关文章推荐
- 云计算项目实战——某大型互联网企业用户上网行为日志分析系统 PPT下载
- 某大型互联网企业用户上网行为日志分析系统——云计算项目实战
- 系统API模块——某大型互联网企业用户上网行为日志分析系统
- 大数据背景下互联网用户行为分析
- Spark项目之电商用户行为分析大数据平台之(十)IDEA项目搭建及工具类介绍
- 基于用户行为的数据分析与挖掘+分布式日志管理系统
- Spark日志分析项目Demo(4)--RDD使用,用户行为统计分析
- 互联网海量数据的用户行为分析的简单的介绍
- Spark项目之电商用户行为分析大数据平台之(一)项目介绍
- Spark项目:知名手机厂商用户行为实时分析系统
- 用户行为分析业务系统日志处理方案
- Spark大型项目实战:电商用户行为分析大数据平台
- Spark项目之电商用户行为分析大数据平台之(六)用户访问session分析模块介绍
- Spark项目:知名手机厂商用户行为实时分析系统
- Spark项目之电商用户行为分析大数据平台之(七)数据调研--基本数据结构介绍
- Spark大型项目实战:电商用户行为分析大数据平台
- 大型企业网络系统传输负载测试及分析
- 需求分析——项目日志管理系统
- 网站日志分析项目案例(一)项目介绍
- 实战智能推荐系统(6)-- 用户行为分析