Hadoop配置文件的作用

发表于:2017-4-28 10:42  作者:李晟男   来源:博客园

字体: | 上一篇 | 下一篇 |我要投稿 | 推荐标签: 软件开发 hadoop 大数据 Hadoop

core-site.xml
<property> //指定hdfs的主端口 namenode要放在哪台机器上
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000</value> //主机名+端口号
</property>
<property> //临时变量目录 data name secondary 如果指定了namenode datanode 可以不配
<name>hadoop.tmp.dir</name>
<value>usr/soft/tmp/
</value>
</property>
<property> //流缓冲区大小 128MB
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
hdfs-site.xml
<property> //副本数
<name>dfs.replication</name>
<value>2</value>
</property>
<property> //secondary
<name>dfs.secondary.http.address</name>
<value>hadoop001:50090</value>
</property>
yarn-site.xml
<property> //mapreduce中的shuffle过程
<name>yarn.resourcemanager.hostname</name>
<value>hadoop001</value>
</property>
<property> //resourcemanager 在哪台主机上
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
mapred-site.xml
<property> //mapreduce 依赖的框架
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property> //历史服务器监控端口
<name>mapreduce.jobhistory.address</name>
<value>hadoop001:10020</value>
</property>
<property> //历史服务器的web监控地址
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop001:19888</value>
</property>
<property> //历史服务器的记录的最大容纳数
<name>mapreduce.jobhistory.joblist.cache.size</name>
<value>20000</value>
</property>

【干货】Linux命令行工具之处理JSON的神器-JQ全面讲解

评 论

论坛新帖

顶部 底部


建议使用IE 6.0以上浏览器,800×600以上分辨率,法律顾问:上海瀛东律师事务所 张楠律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2019, 沪ICP备05003035号
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪公网安备 31010102002173号

51Testing官方微信

51Testing官方微博

扫一扫 测试知识全知道