HA配置
安装Cloudera CDH4 官方文档配置,还算顺利,地址如下:
http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-High-Availability-Guide/CDH4-High-Availability-Guide.html
集群环境
我没有配置fencing和自动failover,试用了一下Quorum-based Storage和手动切换,基本配置如下:
- NameNode两台:nn1(active)、nn2(standby)
- JournalNode三台:JN1、JN2、JN3
测试过程
测试方法:使用hadoop put 命令上传一个2GB文件,中途使用kill -9 杀掉nn1,然后使用如下命令将nn2修改为active,查看上传文件是否完整。
sudo -u hdfs hdfs haadmin -transitionToActive nn2
看到的现象如下:
- kill -9 nn1后,上传文件的hadoop客户端不停打印retry日志
- 切换nn2为active后,hadoop上传客户端停止打印retry日志,继续传输文件,最后传输完毕
- 查看本地文件和hdfs文件,发现文件完整,没有因为nn1强制退出导致损坏
脑裂测试
此外我还特地搞出了脑裂的效果,如下图,两个NN都是active,读取和写入居然都正常...... 官方文档提到如果出现脑裂将可能导致数据丢失。为了避免脑裂,CDH通过pencing脚本来控制。
总结
CDH4(Hadoop2.0)HA功能已经可以解决集群单点问题,试用过程非常稳定。
相关推荐
cloudera CDH4.4安装文档,支持集群
CDH HA部署
3.4 使用本地类库安装CDH5 11 4 HDFS启用HA高可用性(基于Quorum-based Storage) 16 5.CDH安装使用lzo 22 5.1 hadoop_lzo安装 22 5.2 配置MapReduce: 23 5.3相关服务重启 25 6.安装Storm 25 7.附录. 25 7.1 CDH安装...
CDH最新版本CDH4.4版本,Mapreduce1插件,用于hadoop的开发!便于Mapreduce程序的编写和开发! 基于Linux下eclipse-jee-juno-SR2-linux-gtk-x86_64编译。
开源的hadoop生态圈的安装和维护很难,通过cloudera公司的cdh来管理,但是对于CDH的安装对于初学者总会存在一定的困难,本文档详细介绍CDH的离线安装和使用
cdh7.1.7包括: CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha1 CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha256 manifest.json cm7.4.7包括: cloudera-...
由于CSDN上传文件大小限制,大家可以下载《CDH6.3.2下载.txt》获取网盘地址进行下载,我打包了CDH6.3.2 搭建所需要的各种安装文件,包括: manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera cm6.3.1-...
CDH6.3.2完整安装包网盘下载,包含 CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha1、CDH-6.3.2-1.cdh6.3.2.p0.1605554-bionic.parcel.sha256、CDH-6.3.2-1....
CDH7及以上版本已经更名为CDP 本资源打包了CDH7.1.5 搭建所需要的各种安装文件,包括: cm7.2.4-redhat7.tar.gz manifest.json cloudera-manager.repo RPM-GPG-KEY-cloudera CDH-7.1.5-1.cdh7.1.5.p0.7431829-el7....
cdh6.3.2 适配 Phoenix; cdh6.3.2 集成 Phoenix
CDH5.12.0
CDH环境搭建详细步骤及如何使用C++对hdfs, yarn, hbase进行开发
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm ...
hadoop配置库使用Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production,可以自行换成MYSQL CDH是Apache Hadoop和相关项目的最完整,经过测试的流行发行版。 CDH提供了Hadoop的核心元素 ...
CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel.sha1 CDH-6.3.3-1.cdh6.3.3.p0.1796617-el7.parcel.sha256 如遇技术问题可添加微信咨询:15854186970
hive JDBC jar包全家桶。由于项目使用,此jar包从国外下载费了好大劲,现分享给大家。 cdh6.3.2版本的
CDH6.3.2完整安装包网盘下载,包含以下内容: cdh离线安装教程;enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm;cloudera-manager-agent-6.3.1-...
HBase is one of Hadoop core components, included in CDH parcel already. HDFS and
本资源包为 cdh6.2.1 redhat7 版本 # 目录结构如下 ├── cdh6 │ └── 6.2.1 │ └── parcels │ ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7.parcel │ ├── CDH-6.2.1-1.cdh6.2.1.p0.1425774-el7....
也就是说CDH各版本都不能免费获取了。 安装教程中详细说明了安装过程中遇到的各种问题,并且整个过程不需要依赖外网,全部为离线安装。 网盘下载《CDH6.3.2安装包及安装教程网盘下载地址.txt》,包括: manifest....