快速了解
这个小工具作用就是批量在集群节点执行命令,比如我想在 node_1至node_9上执行hostname命令:
/usr/bin/pdsh -R ssh -w node_[1-9] hostname
- -R:指定传输方式,默认为rsh,本例为ssh,如果希望ssh传输需要另行安装pdsh-rcmd-ssh,如果希望ssh无密码访问需要提前配置好。
- -w:指定待执行命令host,也可以这样配置,node_[1-9, 35,22]
- command:本例为hostname
安装
# 官方tarball方式:
http://sourceforge.net/projects/pdsh/
wget http://cdnetworks-kr-2.dl.sourceforge.net/project/pdsh/pdsh/pdsh-2.26/pdsh-2.26.tar.bz2
tar -jxf pdsh-2.26.tar.bz2 && cd pdsh-2.26
./configure --with-ssh --without-rsh && make && make install
#yum安装(32位机器我没有找到源,64为机器可以使用rpmforce的源)
yum install pdsh
验证安装:
pdsh -V
如果rcmd modules的值中有ssh说明安装成功了。
hadoop集群上的实践
CDH3已经不推荐使用start-all.sh, stop-all.sh管理集群,而是推荐使用script(/etc/init.d/hadoop-0.20-*)方式独立运行集群,这样做的好处是可以把hadoop分为hdfs和mapred两种用户,更好管理权限,但是直到CDH3u1都没有支持批量方式启动、关闭jobtracker和datanode,so,我们可以用pdsh + ssh + shell 实现这个start-all.sh和stop-all.sh的功能,附上我写的脚本,把它放到PATH里,就可以方便使用了:
sudo /etc/init.d/hadoop-0.20-namenode start
sudo /etc/init.d/hadoop-0.20-jobtracker start
/usr/bin/pdsh -R ssh -w CHN-DG-3-5I[3,4,8,9] "sudo /etc/init.d/hadoop-0.20-datanode start"
/usr/bin/pdsh -R ssh -w CHN-DG-3-5I[3,4,8,9] "sudo /etc/init.d/hadoop-0.20-tasktracker start"
FAQ:
Q:使用pdsh执行集群命令有些集群出现错误:“sudo: sorry, you must have a tty to run sudo”
A:找到问题集群,切换大root用户,执行“visudo”,注释掉“Defaults requiretty”
Q: 执行 pdsh -R ssh ...时候报错:“ssh Bad configuration option: ConnectTimeout”,但执行ssh命令是可以的。
A:安装最新版本openssh吧
参考:
http://bbs.chinaunix.net/thread-2002080-1-1.html
分享到:
相关推荐
PDSH手册,PDSH手册,PDSH手册,PDSH手册,PDSH手册,PDSH手册,
remote shell 是一个远程shell,管理linux的集群工具。
pdsh的全称是parallel distributed shell,与pssh类似,pdsh可并行执行对远程目标主机的操作,在有批量执行命令或分发任务的运维需求时,使用这个命令可达到事半功倍的效果。同时,pdsh还支持交互模式,当要执行的...
Pdsh is a high-performance, parallel remote shell utility. It has built-in, thread-safe clients for Berkeley and Kerberos V4 rsh, and can call SSH externally (though with reduced performance). Pdsh ...
centos 7 pdsh rpm 安装包
用于大规模集群部署,在多台机器上同时执行脚本命令和拷贝数据。十分方便。国内可以下载的是老版本的2.26,现在已经更新到2.29,我提供的从2.26~2.29版本都有,大家可以根据自己的情况下载。
yum install pdsh 不支持的话,通过安装包安装 pdsh 安装包及教程
下列哪项可以作为集群的管理工具 a)Puppet b)Pdsh c)Cloudera Manager d)d)Zookeeper 9. 配置机架感知的下面哪项正确 a)如果一个机架出问题,不会影响数据读写 b)写入数据的时候会写到不同机架的 DataNode 中 c)...
下列哪项可以作为集群的管理工具 a)Puppet b)Pdsh c)Cloudera Manager d)d)Zookeeper 9. 配置机架感知的下面哪项正确 a)如果一个机架出问题,不会影响数据读写 b)写入数据的时候会写到不同机架的 DataNode 中 c)...
处理可伸缩性问题播放CSV文件规模很重要磁盘使用命令df , du 命令mount 以正确的方式将数据加载到Hadoop 重定向Hive执行临时文件集群问题使用pdsh一次处理集群Git(枢纽) 快速指南一次设置用户名和密码合并提交...
例如:pdsh -R ssh -l opsuser -w user00[1-9] "date"-x 此参数用来排除某些或某个主机,例如:pdsh -R ssh
hadoop mapreduce ####下载hadoop包 wget ####单机环境搭建 Required Software Required software for Linux include: Java:trade_mark: must be installed. Recommended Java versions are described at ...
下列哪项可以作为集群的管理工具 a)Puppet b)Pdsh c)Cloudera Manager d)d)Zookeeper 9. 配置机架感知的下面哪项正确 a)如果一个机架出问题,不会影响数据读写 b)写入数据的时候会写到不同机架的 DataNode 中 c)...
hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( ) 26. Hadoop 默认调度器策略为 FIFO( ) 大数据面试题-全文共15页,当前为第4页。27. 集群内每个节点都应该配 RAID,这样避免单磁盘损坏,影响整个节点运行...
hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( ) 26. Hadoop 默认调度器策略为 FIFO( ) 27. 集群内每个节点都应该配 RAID,这样避免单磁盘损坏,影响整个节点运行。( ) 大数据面试题(1)全文共15页,当前为...
a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper 答案 ABD 具体可查看什么是 Zookeeper,Zookeeper 的作⽤是什么,在 Hadoop 及 hbase 中具体作⽤是什么。 1. 1. Client 端上传⽂件的时候下列哪项正确 a)数据经过 ...
使用重置集群。 该脚本旨在从配置了主机组的pdsh主机运行,以将所有这些设置应用到该主机。 修改“目录”文本文件以遍历要删除的所有目录,然后删除yum。 修改文本文件以循环遍历要删除的所有HDP软件包。 在尝试...
linux-2.6.26 原始代码修改了大小写重命名问题,并修正了相关引用。
概述:在这个以实践为导向的数据分析模块中,学生将学习如何使用计算机程序运行预测模型和分析。 主要原则是探索现有数据以构建新知识、预测未来行为、预测结果和趋势。 探索理论和实践,并使用 Python 等工具解决...