系统
从CDH3b3开始不支持hadoop.job.ugi参数,请使用UserGroupInformation.doAs()方法代替。详细见我博客:http://heipark.iteye.com/blog/1178810
其它见:https://ccp.cloudera.com/display/CDHDOC/Incompatible+Changes
安装
- cloudera CDH3基于hadoop稳定版0.20.2,并集成很多补丁(patch)
- CDH提供rpm包和tar两种方式(cloudera更推荐使用rpm方式,下文所述CDH默认为rpm安装方式),hadoop0.20.2只提供了tar包安装方式,
- cloudera CDH3 自动设置JAVA_HOME环境变量,apache hadoop需要手工配置
- apache hadoop使用start/stop-dfs.sh start/stop-all.sh脚本维护集群,CDH通过root身份运行/etc/init.d/hadoop-0.20-* 脚本启动、关闭服务,这种方式只可以管理当前服务器,如果希望实现类似start/stop-all.sh需要自己写脚本(详细见我博客:http://heipark.iteye.com/blog/1182223)
- CDH3安装成功后会添加两个用户:hdfs(hdfs文件系统相关), mapred(mapreduce相关),而apache hadoop大家通常的做法是添加一个hadoop用户来做所有的事情。
- CDH通过alternatives切换多个配置文件,而apache hadoop配置文件只保存在$HADOOP_HOME/conf下面
eclipse插件
cloudera CDH默认没有提供eclipse插件,需要自己编译,而且它的插件和apache hadoop插件不兼容
安全
CDH3支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证
参考:
https://groups.google.com/a/cloudera.org/group/cdh-user/browse_thread/thread/cacad7f7091b5332
https://groups.google.com/a/cloudera.org/group/cdh-user/browse_thread/thread/cd036b7483b32bbc
https://groups.google.com/a/cloudera.org/group/cdh-user/browse_thread/thread/c30a91068d912015
https://groups.google.com/a/cloudera.org/group/cdh-user/browse_thread/thread/0cfbc35d87e23233
-- end --
分享到:
相关推荐
hadoop-0.20.2-cdh3u6 cloudera
Ubuntu 14.04 LTS下通过Cloudera CDH 5.4.8搭建Hadoop集群.pdf
Hadoop Eclipse插件,经测试在Eclipse3.7下能正常使用。在Windows下连接远程Hadoop集群时,注意本地要安装cygwin...另,Hadoop Eclipse插件只能连接相应版本的Hadoop集群,例如,本插件只能连接hadoop-0.20.2-cdh3u4。
Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件代码资料下载。 内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1、Hadoop2.0高阶运维,包括Hadoop节点增加删除、HDFS和...
Cloudera CDH集群运维手册,带截图的,挺详细,有用Cloudera cdh集群的可以看看
CDH是Apache Hadoop和相关项目的最完整,经过测试的流行发行版。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放源码,是唯一提供统一...
cloudera公司的CDH4版本hadoop安装说明
cloudera-hive-cdh6.3.2源码包
而CDH是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,全称Cloudera’s Distribution, including Apache Hadoop。 CDH提供了Hadoop的核心可扩展存储(HDFS)和分布式计算(MR),还...
大数据集群 cloudera CDH 安装手册 在服务器上安装CDH的实验 亲测可用
CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha1 CDH-7.1.7-1.cdh7.1.7.p0.15945976-el7.parcel.sha256 manifest.json cm7.4.7包括: cloudera-manager-agent-7.4.4...
cloudera公司CDH4版本hadoop的使用说明
cloudera CDH v5.16.2完整安装包,包含cm和parcel
最近学习hadoop,综述了大家的博客,终于弄出来一篇自己认为比较完成的文档。 centos6.2 mini hadoop-2.0.0-cdh4.3.0.tar.gz zookeeper-3.4.5-cdh4.3.0.tar.gz hbase-0.94.6-cdh4.3.0.tar.gz
该文档详细讲解了cloudera manager安装cdh步骤,作者看了官方文档不下千次,呕心沥血整理,非常详细,以及各种安装方法的核心优缺点
Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala...
Cloudera Hadoop 安装指南
此目录中的Docker脚本会生成CentOS 6 Docker VM并安装所有CDH组件(Hadoop,Spark,Hbase,Hive,Impala,Hue,Zookeeper,Oozie等)。 如何建立cdh容器? docker build -t docker-cdh54 . 如何运行cdh容器? ...
学习hadoop是在平台上学习的文档,与大家一起共享,交流学习
CDH是Cloudera公司推出的基于稳定版本的Apache Hadoop构建,是Hadoop众多分支中的一种。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放...