您的位置：首页 > 其它

005-hive概述，计算原理及模型

2017-06-05 17:10 218 查看
计算原理及模型

　　


　　优化的根本思想：

　　　　尽早尽量过滤数据，减少每个阶段的数据量

　　　　减少job数

　　　　解决数据倾斜问题

Hive概述

名称
hive系统架构metastorederby
mysql
HDFS/usr/hive/warehouse
Mapreduce
hive配置文件hive-env.sh
hive-site.xml
hive-log4j.properties
hive命令行hive --config
hive shellquit、exit
reset
set
add、list、delete FILES
!<command>
dfs<command>
HQL
source files
hive servicehive --service cli
hive --service hiveserver
hive --service metastore
hive --service hwi
hive --service jar
HiveQL语法关键字show databases
show PARTITIONS
show tables
create table
load data(local) inpath
select * from
desc、alert/drop
limit、as、case when then、union
like、group by、having
order by、sort by
cluster by
数据类型简单类型tinyint、smallint、int、bigint
float、double
boolean
string
timestamp
binary
复杂类型array
map
struct
表内部表
外部表HDFS
HBase
Cassandra
DynamoDB
表查询单表查询
inner joins
outer joins
Semi joins
map joins
子查询
视图
数据表设计每日一表
每日一表分区
按桶分散数据
Hive优化表分区Partitions
表存储桶buckets
表压缩
索引→bitmap indexes
执行计划
控制Mappers、reducer数量
访问方式Hive shell
java jdbc api
thrift client
Rhive
自定义函数自定义函数UDF
自定义聚合函数UADF
Hive安全认证hive.files.umask.value
hive.metastore.authorization.storage.checks
hive.metastore.execute.setugi
授权hive.security.authorization.enabled
hive.security.authorization.createtable.owner.grants
hive.security.authorization.createtable.user.grants
权限模型User
Group
Role
web控制台hwi:9999
软件集成zookeeper
thrift
Ooize
HCatalog
AWS
图解示例



HIve-mapreduce

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航