您的位置：首页 > 运维架构

hadoop参数-core-site.xml

2017-08-30 14:42 387 查看


三个缺省配置参考文件说明


core-default.html

 
序号
参数名
参数值
参数说明
1
Hadoop.tmp.dir
/tmp/hadoop-${user.name}
临时目录设定
2
hadoop.native.lib
true
使用本地hadoop库标识。
3
hadoop.http.filter.initializers
 
http服务器过滤链设置
4
hadoop.security.group.mapping
org.apache.hadoop.security.ShellBasedUnixGroupsMapping
组内用户的列表的类设定
5
hadoop.security.authorization
false
服务端认证开启
6
hadoop.security.authentication
simple
无认证或认证设置
7
hadoop.security.token.service.use_ip
true
是否开启使用IP地址作为连接的开关
8
hadoop.logfile.size
10000000
日志文件最大为10M
9
hadoop.logfile.count
10
日志文件数量为10个
10
io.file.buffer.size
4096
流文件的缓冲区为4K
11
io.bytes.per.checksum
512
校验位数为512字节
12
io.skip.checksum.errors
false
校验出错后是抛出异常还是略过标识。True则略过。
13
io.compression.codecs
org.apache.hadoop.io.compress.DefaultCodec,

org.apache.hadoop.io.compress.GzipCodec,

org.apache.hadoop.io.compress.BZip2Codec,

org.apache.hadoop.io.compress.SnappyCodec
压缩和解压的方式设置
14
io.serializations
org.apache.hadoop.io.serializer.WritableSerialization
序例化和反序列化的类设定
15
fs.default.name
file:///
缺省的文件URI标识设定。
16
fs.trash.interval
0
文件废弃标识设定，0为禁止此功能
17
fs.file.impl
org.apache.hadoop.fs.LocalFileSystem
本地文件操作类设置
18
fs.hdfs.impl
org.apache.hadoop.hdfs.DistributedFileSystem
HDFS文件操作类设置
19
fs.s3.impl
org.apache.hadoop.fs.s3.S3FileSystem
S3文件操作类设置
20
fs.s3n.impl
org.apache.hadoop.fs.s3native.NativeS3FileSystem
S3文件本地操作类设置
21
fs.kfs.impl
org.apache.hadoop.fs.kfs.KosmosFileSystem
KFS文件操作类设置.
22
fs.hftp.impl
org.apache.hadoop.hdfs.HftpFileSystem
HTTP方式操作文件设置
23
fs.hsftp.impl
org.apache.hadoop.hdfs.HsftpFileSystem
HTTPS方式操作文件设置
24
fs.webhdfs.impl
org.apache.hadoop.hdfs.web.WebHdfsFileSystem
WEB方式操作文件类设置
25
fs.ftp.impl
org.apache.hadoop.fs.ftp.FTPFileSystem
FTP文件操作类设置
26
fs.ramfs.impl
org.apache.hadoop.fs.InMemoryFileSystem
内存文件操作类设置
27
fs.har.impl
org.apache.hadoop.fs.HarFileSystem
压缩文件操作类设置.
28
fs.har.impl.disable.cache
true
是否缓存har文件的标识设定
29
fs.checkpoint.dir
${hadoop.tmp.dir}/dfs/namesecondary
备份名称节点的存放目前录设置
30
fs.checkpoint.edits.dir
${fs.checkpoint.dir}
备份名称节点日志文件的存放目前录设置
31
fs.checkpoint.period
3600
动态检查的间隔时间设置
32
fs.checkpoint.size
67108864
日志文件大小为64M
33
fs.s3.block.size
67108864
写S3文件系统的块的大小为64M
34
fs.s3.buffer.dir
${hadoop.tmp.dir}/s3
S3文件数据的本地存放目录
35
fs.s3.maxRetries
4
S3文件数据的偿试读写次数
36
fs.s3.sleepTimeSeconds
10
S3文件偿试的间隔
37
local.cache.size
10737418240
缓存大小设置为10GB
38
io.seqfile.compress.blocksize
1000000
压缩流式文件中的最小块数为100万
39
io.seqfile.lazydecompress
true
块是否需要压缩标识设定
40
io.seqfile.sorter.recordlimit
1000000
内存中排序记录块类最小为100万
41
io.mapfile.bloom.size
1048576
BloomMapFiler过滤量为1M
42
io.mapfile.bloom.error.rate
0.005
 
43
hadoop.util.hash.type
murmur
缺少hash方法为murmur
44
ipc.client.idlethreshold
4000
连接数据最小阀值为4000
45
ipc.client.kill.max
10
一个客户端连接数最大值为10
46
ipc.client.connection.maxidletime
10000
断开与服务器连接的时间最大为10秒
47
ipc.client.connect.max.retries
10
建立与服务器连接的重试次数为10次
48
ipc.server.listen.queue.size
128
接收客户连接的监听队例的长度为128
49
ipc.server.tcpnodelay
false
开启或关闭服务器端TCP连接算法
50
ipc.client.tcpnodelay
false
开启或关闭客户端TCP连接算法
51
webinterface.private.actions
false
Web交互的行为设定

 
52
hadoop.rpc.socket.factory.class.default
org.apache.hadoop.NET.StandardSocketFactory
缺省的socket工厂类设置
53
hadoop.rpc.socket.factory.class.ClientProtocol
 
与dfs连接时的缺省socket工厂类
54
hadoop.socks.server
 
服务端的工厂类缺省设置为SocksSocketFactory.
55
topology.node.switch.mapping.impl
org.apache.hadoop.net.ScriptBasedMapping
 
56
topology.script.file.name
 
 
57
topology.script.number.args
100
参数数量最多为100
58
hadoop.security.uid.cache.secs
14400
 
 
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航