`
heipark
  • 浏览: 2077617 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

不重启集群调整Namenode、jobtracker等服务LOG level

 
阅读更多

调整NameNode 某个class log level:

 

打开IE输入:“http://{your_namenode_ip}:50070/logLevel

 

第一行用于获取class log level,举例:可以输入"org.apache.hadoop.hdfs.StateChange",然后点击"Get log level" 按钮查看;

 

第二行用于set class log level,举例Log中输入"org.apache.hadoop.hdfs.StateChange",Level输入”WARN“,然后点击"Set log level"按钮。

 

 

注意这个配置需要稍后才能生效,等待几分钟。

 

其它如Jobtracker、 Datanode、Tasktracker中相关class设置参考上面。

Jobtracker: http://{job_tracker_ip}:50030

 

其它服务端口参加我前文:http://heipark.iteye.com/admin/blogs/1199297

 

 

命令行下也可以实现相同目的,详见

 

hadoop daemonlog

 

参考资料:

dynamically change log levels

https://issues.apache.org/jira/browse/HADOOP-1185

 

实时查看和修改Hadoop日志级别

http://www.hadoopor.com/redirect.php?tid=430&goto=lastpost

 

 

-- end --

 

 

分享到:
评论

相关推荐

    HDFSNameNode重启优化

    在Hadoop集群整个生命周期里,由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启,不论采用何种架构,重启期间集群整体存在可用性和可靠性的风险,所以优化NameNode重启非常关键。本文基于Hadoop-2.x和...

    Hadoop面试题

    Hadoop常见习题汇编,最新2018年版,仅供大家学习和交流使用,不得作为其他用途。

    Hadoop大数据平台构建、规划大数据平台集群教学课件.pptx

    在单个节点上运行NameNode、DataNode、JobTracker、TaskTracker、SeconderyNameNode 这5个进程。 完全分布模式 在多个节点上运行。 使用分布式文件系统。 在不同的节点上运行NameNode、DataNode、JobTracker、...

    NameNode职责.pptx

    NameNode职责

    HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx

    HDFS HA 配置、启动与...任务四 HDFS HA集群的NameNode格式化(一);任务四 HDFS HA集群的NameNode格式化(二);任务五 部署完成之后常规启动HDFS HA集群;任务六 验证HDFS HA集群(一);任务六 验证HDFS HA集群(二)

    namenode启动失败参考

    未知原因导致namenode 的fsimage等文件丢失,namenode重启失败的参考解决

    Hadoop Namenode性能诊断及优化

    Hadoop Namenode性能诊断及优化

    Hadoop2.2.0集群搭建手册

    Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换。 2、采用hadoop2.0官方提供QJM —HDFS,HA的解决方案,在QJM方案中,主备...

    大数据云计算技术 Hadoop应用浅析(共16页).pptx

    数据中心: 1台NameNode, 1台SecondNameNode, 1台JobTracker,100来台DataNode 共100多台高配服务器; 数据中心又分为10多个机架,每个机架上10多台服务器; 实验室集群:共10几台普通微型机. 机器配置 名称节点和第二...

    HadoopNameNode高可用(HighAvailability)实现解析

    NameNode和JobTracker都存在着单点问题,这其中以NameNode的单点问题尤为严重。因为 NameNode保存了整个HDFS的元数据信息,一旦NameNode挂掉,整个HDFS就无法访问,同时 Hadoop生态系统中依赖于HDFS的各个组件,包括...

    搭建hadoop伪分布式.docx

    但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式存储的角度来说,集群中的结点由一个NameNode和若干...

    JAVA集群部署

    一台namenode两台:datanode1 datanode2 1台NFS文件服务器 Nginx 1台 2台Memcached或者redis服务器(可存储用户动态信息在缓冲 解决session超时和共享问题) 1台消息队列">LVS Memcached redis 见解 说明:该部署...

    大数据平台常见面试题.pdf

    a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 注:haoop1.X 分析: hadoop 的集群是基于 master/slave 模式,namenode 和 jobtracker 属于 master,datanode 和 tasktracker属于 slave,master 只 ...

    HadoopHA集群部署、规划HadoopHA集群教学课件.pptx

    规划Hadoop HA 集群 Hadoop HA 集群部署模式 什么是 HA ? HA是High Availability的简写,即高可用,指当前工作中的机器宕机后,会自动处理这个异常,并将工作无缝地转移到其他备用机器上去,以来保证服务的高可用。...

    大数据面试题-.docx

    单项选择题 1. 下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 2.... NameNode 的 Web UI 端口是 50030,它通过 jetty 启动的 Web 服务。( ) 32. Ha

    namenode元数据管理机制

    hdfs的namenode的元数据管理机制,简要画出了元数据管理的流程分析

    Hadoop集群的搭建.docx

    当第一次连接的时候,在datanode主机上存放临时文件的目录下(我的为hdptmp),hdptmp/dfs/data/current/version中保存了两个id号,当namenode主机格式化后会生成新的id,再次连接的时候,新的id与原来的id不匹配,...

    Hadoop集群安装

    Hadoop集群安装的详细说明文档, 實作七: Hadoop 叢集安裝 前言 您手邊有兩台電腦,假設剛剛操作的電腦為"主機一" ,另一台則為"主機二" 。則稍後的環境如下 • 管理Data的身份 管理Job的身份 "主機一" namenode ...

Global site tag (gtag.js) - Google Analytics