- 浏览: 2078955 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (366)
- hadoop (91)
- DB (2)
- vmware (0)
- python (49)
- Java (72)
- Linux (57)
- 多线程 (2)
- hive (1)
- hbase (3)
- mongodb (5)
- Hibernate (3)
- nodejs (1)
- 模式与重构 (1)
- 持续集成CI (4)
- Mysql (2)
- chorme (1)
- 软件开发 (0)
- 敏捷 (5)
- maven (3)
- windows (7)
- 测试驱动 (1)
- scala (3)
- Jetty (0)
- android (1)
- eclipse (1)
- 设计模式 (1)
- 面向对象设计 (2)
- oracle (3)
- cassandra (15)
- pig (3)
- rails (1)
- redis (4)
- ruby (1)
- storm (0)
- 实时运算 (3)
- scribe (1)
- hadoop源码 (3)
- cassandra jna (1)
- Kafka (2)
- Sublime (2)
- C++ (2)
- C (1)
- 版本控制 (1)
- 服务器 (1)
- docker (0)
- flink (1)
最新评论
-
伍大都督:
解释太到位了,感谢分享
理解Linux系统中的load average(图文版) -
rfjian123:
非常感谢,用你的方法解决了问题。
Server sent unexpected return value (403 Forbidden) in response to OPTIONS -
yuhaifei12:
今天遇到同样的问题了。设置的是每分钟执行一次。结果发现每分钟执 ...
解决Linux下crontab同一时间重复执行问题 -
BigBird2012:
想问一下,使用ExecutorService每次都要调用 sh ...
spring quartz使用多线程并发“陷阱” -
zhuqx1130:
有用,谢谢
解决Sublime Text 3中文显示乱码(tab中文方块)问题
Cloudera SCM Express简介:
Cloudera是一家专业从事基于Apache Hadoop的数据管理软件销售和服务的公司,该公司最近发布了Cloudera SCM Express,该软件让任何人都能快速、轻松地安装和配置基于Apache Hadoop的完整堆栈。
Cloudera SCM Express能帮助部署,配置和管理一系列的Apache Hadoop服务,并允许所有人去开发和集中管理一个超过50个节点的完整的Apache Hadoop集群。这款免费软件支持自动安装和配置,将部署时间从数周减少到几分钟,并提供群集范围的,实时的对节点和服务的监控。
下载
https://ccp.cloudera.com/display/SUPPORT/Downloads
下载文件完成后,你会得到一个名为“scm-installer.bin”的文件。
安装
系统要求(必须是64为操作系统):
Red Hat Enterprise Linux 5 ,Linux 6 、CentOS 5
SUSE Linux Enterprise Server 11
安装命令:
chmod u+x scm-installer.bin
sudo ./scm-installer.bin
这时将打开安装图形界面,会联网安装JDK(如果没有安装的话), SCM Server、PostgreSQL数据库
安装过程结束后,打开浏览器,开始在线安装、管理Hadoop了,用户名密码,默认为:admin/admin
后面几个页面会要求输出管理机器列表、机器用户名密码等,我就略过了,大家可以在最下面的官方参考URL里查看。
我遇到的问题:
- 下载软件包的时候总是因为timeout而失败,解决办法:在server上多添加几个DNS IP
- 在启动SCM Agent 的时候失败,原因是我机器多IP导致的,解决办法:在/etc/hosts里面设置好机器名与IP对应关系就OK了。这个问题花了好大功夫才解决,在官方的user group里面有类似情况,帖子地址为:https://groups.google.com/a/cloudera.org/group/scm-users/browse_thread/thread/a72d2452cb307d6c
安装完软件是下面的图片(官方摘录),虽然过程比较慢,但这感觉太爽了。
9.9日遇到在选择Servive后报空指针错误,之后我还和cloudera工程师沟通,他们怀疑是磁盘不一致导致的,然后他们就放周末了,我等不及了,研究了下这个项目,项目的安装路径在“/usr/share/cmf/”,项目的class被打包到lib里面的jar包,仔细查看发现“server-3.6.1.1.jar”这个是我需要的类(页面上报相关类空指针),反编译后,反复调试找到问题行,取了个巧跳过了问题,终于继续前进了,不过cloudera的工程师还是很敬业的,回复很快,不过我们不是一个时区。。。。另外:hadoop被安装到了“/usr/lib/hadoop-0.20”
其它几步我安装很顺利,9.11当天终于全部配置成功,而且看到了大名鼎鼎的HUE,给大家看看图片:
下周需要做一个hadop项目,就用它做管理了,太棒了。
-- 未完 --
评论
也就是 访问 http://localhost:7180 的管理界面
发表评论
-
cloudera CDH5 vmware中cloudera manager报错"Internal error while querying the Host "
2014-07-22 10:19 1968无法获取host和service状态,解决办法: s ... -
thrift0.9.1简单教程(包含Java服务端和Java、python客户端)
2014-04-25 15:55 6354一、Thrift Java服务端和客户端 官 ... -
yum错误“Error in PREUN scriptlet in rpm package ”
2014-03-10 12:07 3932打算通过yum安装软件,发展之前有软件残骸。使用yu ... -
搭建cloudera yum私服
2014-03-05 11:08 3168一、安装Cloudera yum仓库 1. 下载仓库rpm ... -
cloudera创建私服错误一例
2014-02-24 11:41 1340执行“reposync -r cloudera-cdh4 ” ... -
Cloudera Manager的Hadoop配置文件管理
2014-02-11 10:21 11408本文基于Cloudera Manager 4.8,以下简称 ... -
修改cloudera manager管理主机名(转)
2014-02-10 14:22 7590I installed the Cloudera Mana ... -
cloudera manager tasktrakcer监控状态错误
2014-02-10 11:32 1240此文用作图片外链。cloudera网站坑爹呀! -
cloudera manager 4.8 添加设备DNS反向解析问题
2014-01-28 16:20 3713添加设备时agent会使用host命令反向解析获取clou ... -
apache kafka v0.8入门遇到问题
2014-01-23 12:20 1630官方文档:https://kafka.apache.org/ ... -
hadoop2.0(cdh4) fs client错误"java.io.IOException: No FileSystem for scheme: hdfe"
2013-12-31 12:32 10010启动dfs client时候报错:“java.io.IOE ... -
Hadoop Combiner的几个调用时间点
2013-12-20 08:37 2918Combiner是在Map端被执行,共有两个时机会被触 ... -
hadoop1.0中NameNode HA的妥协方案
2013-12-10 16:26 1498hadoop1.0没有HA,可以添加NFS做为metada ... -
hdaoop2.x (CDH4、5)下使用DFS Client(包含HA)
2013-12-09 16:42 3271一、不使用HA场景 1.1 获取FileSystem(下 ... -
Hadoop学习指南
2013-11-26 14:26 1361安装配置 CDH4(hadoop2.0) 端口 C ... -
cloudera cdh中hadoop-client包的作用
2013-11-22 22:12 4065hadoop-client是为了让开发者可以很方便的使用当前 ... -
could only be replicated to 0 nodes instead of minReplication (=1)
2013-11-18 17:02 13832一、出现这个错误,先看看DN是不是正常启动并与NN通信,使用 ... -
Hadoop Pig获取HDFS文件名
2013-11-15 08:37 3181A = LOAD 'input' using PigS ... -
cloudera CDH5正式版(与CDH4比较)
2013-11-04 22:14 2490要求JDK7以上,JDK6不被支持 基于a ... -
Pig写UDF解析XML遇到一诡异错误“ClassNotFoundException”
2013-10-16 10:11 1248UDF中使用apache digester做XML解析,代码 ...
相关推荐
Ubuntu 14.04 LTS下通过Cloudera CDH 5.4.8搭建Hadoop集群.pdf
Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件代码资料下载。 内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1、Hadoop2.0高阶运维,包括Hadoop节点增加删除、HDFS和...
一. Cloudera Manager 4 二. 下载地址 4 三....四....1. 网络配置 5 2. 修改主机名(hostname) 6 3. 关闭selinux 6 4. 子节点互通配置 6 ...11. 设置hadoop存储目录 11 ...5. 启动service cloudera-scm-agent start 失败 42
Cloudera Hadoop 安装指南
本文档主要以使用Cloudera Manager5.9.3 自动搭建Hbase集群为例,介绍如何...至于如何使用Cloudera Manager来管理集群以及进行数据分析之类的工作,请参考官方文档说明。Cloudera Manager官网https://www.cloudera.com/
Cloudera Developer Training Hadoop CCDH
本次hadoop集群采用3台虚拟机协同完成,虚拟机采用CentOS6.7版本的镜像,hadoop的Cloudera的版本采用的5.13版本。更详细的需求配置以及虚拟机设置,网络配置,节点服务配置等信息请下载文档进行查看。
作为业界最领先的企业级数据平台软件,Cloudera企业版除了包含业界最流行的基于开源Hadoop及其生态组件构建的CDH核心,还包含了大量为支撑企业级业务的高级管理特性。 借助于Cloudera企业版的整体解决方案,企业可以...
Cloudera Hadoop 5(CDH5) 现在,您可以运行Cloudera快速入门映像,而无需承担虚拟机的所有开销。 只需使用docker-cloudera-quickstart映像即可。 基于Ubuntu 14.04(Trusty LTS) 与Cloudera CDH 5一起使用 #...
cloudera manager5.x版本集群搭建过程包括共享文件夹设置、centos配置、时间服务器等
Hadoop at Cloudera: HPlab introduction about Hadoop in cloudera
Cloudera hadoop开发员培训教材,掌握hadoop,cdh平台的不错资料
virtual-hadoop-cluster, 运行CDH5的虚拟Hadoop集群 一个工作的虚拟Hadoop集群使用这些文件,你可以在真实的分布式方式下设置和供应一个本地的虚拟Hadoop集群,以尝试Hadoop和相关的。 它运行最新的Cloudera发行版:...
Cloudera hadoop官方文档 Cloudera Enterprise 5.11.x Documentation https://www.cloudera.com/documentation/enterprise/latest.html
如果需要将来自本地 Hadoop 集群的 PII 数据移动到基于云的服务进行处理(例如机器学习、蒙特卡罗建模等),它们将非常有用。 一种可能的方法是简单地从数据集中删除所有与 PII 相关的数据。 然而,这是不可行的,...
hadoop开发环境搭建教程:利用Cloudera实现Hadoop
cloudera连接自定义MySQL数据库,cloudera集成hadoop以及所有组件
cdh5-vagrant, 准备使用,手动调整 Cloudera Hadoop发行版 5已经置备集群 Hadoop发行版 5的 Vagrant脚本这个脚本提供了一个完整的自动方式来在完全分布式的node 中安装 Cloudera,无需用户干预。 因为我在互联网上...
公司使用的hadoop一般都不是apache下的hadoop,而是cloudera公司的hadoop,因为它除了提供hadoop外还提供了集成工具,所以,今天也采用cloudera hadoop进行安装学习。 一、先来看看hadoop对环境的要求 我选择的...
基于Hadoop的实时查询 Cloudera Impala ,Cloudera 发布实时查询开源项目 Impala (黑斑羚)!多款产品实测表明,比原来基于Map...