Hadoop源码分析之心跳机制

发表于:2012-5-31 10:00

字体: | 上一篇 | 下一篇 | 我要投稿

 作者:jlins_you    来源:51Testing软件测试网采编

  一、心跳机制

  1、hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。

  2、master启动的时候,会开一个ipc server在那里,等待slave心跳。

  3、slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。

  4、需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。

  二、Datanode、Namenode心跳源码分析

  既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:

  代码一:

  1. /** 
  2.    * 循环调用“发送心跳”方法,直到shutdown 
  3.    * 调用远程Namenode的方法 
  4.    */ 
  5.   public void offerService() throws Exception {  
  6. •••  
  7.     while (shouldRun) {  
  8.       try {  
  9.         long startTime = now();  
  10.          // heartBeatInterval是在启动Datanode时根据配置文件设置的,是心跳间隔时间 
  11.         if (startTime - lastHeartbeat > heartBeatInterval) {  
  12.           lastHeartbeat = startTime;  
  13. //Datanode发送心跳 
  14.           DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,  
  15.                                                        data.getCapacity(),  
  16.                                                        data.getDfsUsed(),  
  17.                                                        data.getRemaining(),  
  18.                                                        xmitsInProgress.get(),  
  19.                                                        getXceiverCount());  
  20.           myMetrics.addHeartBeat(now() - startTime);  
  21.            
  22.           if (!processCommand(cmds))  
  23.             continue;  
  24.         }  
  25.          
  26.       •••  
  27.       }  
  28.     } // while (shouldRun) 
  29.   } // offerService

  需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧:

  代码二:

public DatanodeProtocol namenode = null;

  namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧:

  代码三:

  1. this.namenode = (DatanodeProtocol)   
  2.     RPC.waitForProxy(DatanodeProtocol.class,  
  3.                      DatanodeProtocol.versionID,  
  4.                      nameNodeAddr,   
  5.                      conf);

  其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。

21/212>
《2023软件测试行业现状调查报告》独家发布~

关注51Testing

联系我们

快捷面板 站点地图 联系我们 广告服务 关于我们 站长统计 发展历程

法律顾问:上海兰迪律师事务所 项棋律师
版权所有 上海博为峰软件技术股份有限公司 Copyright©51testing.com 2003-2024
投诉及意见反馈:webmaster@51testing.com; 业务联系:service@51testing.com 021-64471599-8017

沪ICP备05003035号

沪公网安备 31010102002173号