- 浏览: 2078582 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (366)
- hadoop (91)
- DB (2)
- vmware (0)
- python (49)
- Java (72)
- Linux (57)
- 多线程 (2)
- hive (1)
- hbase (3)
- mongodb (5)
- Hibernate (3)
- nodejs (1)
- 模式与重构 (1)
- 持续集成CI (4)
- Mysql (2)
- chorme (1)
- 软件开发 (0)
- 敏捷 (5)
- maven (3)
- windows (7)
- 测试驱动 (1)
- scala (3)
- Jetty (0)
- android (1)
- eclipse (1)
- 设计模式 (1)
- 面向对象设计 (2)
- oracle (3)
- cassandra (15)
- pig (3)
- rails (1)
- redis (4)
- ruby (1)
- storm (0)
- 实时运算 (3)
- scribe (1)
- hadoop源码 (3)
- cassandra jna (1)
- Kafka (2)
- Sublime (2)
- C++ (2)
- C (1)
- 版本控制 (1)
- 服务器 (1)
- docker (0)
- flink (1)
最新评论
-
伍大都督:
解释太到位了,感谢分享
理解Linux系统中的load average(图文版) -
rfjian123:
非常感谢,用你的方法解决了问题。
Server sent unexpected return value (403 Forbidden) in response to OPTIONS -
yuhaifei12:
今天遇到同样的问题了。设置的是每分钟执行一次。结果发现每分钟执 ...
解决Linux下crontab同一时间重复执行问题 -
BigBird2012:
想问一下,使用ExecutorService每次都要调用 sh ...
spring quartz使用多线程并发“陷阱” -
zhuqx1130:
有用,谢谢
解决Sublime Text 3中文显示乱码(tab中文方块)问题
动机:希望通过Java API将日志行压缩到lzo文件,然后上传到HDFS。因为kevinweil-hadoop-lzo提供了LzopOutpuStream,所以这一切很容易实现,需要注意的是该jar包依赖native code和lzo本身。本人试过Karmasphere的lzo-java项目,该项目用java重写了lzo压缩算法,但是该项目好久不更新,提问没人回,性能也只有原生lzo压缩性能一半,最难以忍受的是会有压缩后文件损坏的情况,果断放弃。
工具:lzo
地址:http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
或者到 http://rpmfind.net 查找rpm包,下面两个是32bit redhat4和5的rpm包
ftp://rpmfind.net/linux/dag/redhat/el4/en/i386/dag/RPMS/lzo-2.06-1.el4.rf.i386.rpm
ftp://rpmfind.net/linux/dag/redhat/el5/en/i386/dag/RPMS/lzo-2.06-1.el5.rf.i386.rpm
工具:kevinweil-hadoop-lzo
地址:https://github.com/kevinweil/hadoop-lzo
-----------------------
1. 安装lzo和kevinweil-hadoop-lzo
详见:http://heipark.iteye.com/blog/1172759
2. 设置环境变量
export LD_LIBRARY_PATH=/xxx/build/native/Linux-i386-32/lib
3. 写java代码
public class TestLzo { @Test public void test(String input, String output) throws IOException { BufferedReader textBr = new BufferedReader(new InputStreamReader(new FileInputStream(input))); int lzoBufferSize = 256 * 1024; LzoCompressor.CompressionStrategy strategy = LzoCompressor.CompressionStrategy.LZO1X_1; LzoCompressor lzoCompressor = new LzoCompressor(strategy, lzoBufferSize); LzopOutputStream lzopOut = new LzopOutputStream(new FileOutputStream(output), lzoCompressor, lzoBufferSize, strategy); String textLine; while ((textLine = textBr.readLine()) != null) { textLine += "\n"; byte[] bytes = textLine.getBytes(); lzopOut.write(bytes, 0, bytes.length); } textBr.close(); lzopOut.close(); } public static void main(String[] args) throws IOException { TestLzo lzo = new TestLzo(); lzo.test(args[0], args[1]); } }
4. 运行
/usr/java/latest/bin/java -cp .:hadoop-lzo-0.4.15.jar:hadoop-core-0.20.2-cdh3u4.jar:commons-logging-1.1.1.jar com/hadoop/compression/lzo/TestLzo abc.txt abc.txt.lzo
--heipark
评论
Exception in thread "main" java.lang.UnsatisfiedLinkError: com.hadoop.compression.lzo.LzoCompressor.init(I)V
at com.hadoop.compression.lzo.LzoCompressor.init(Native Method)
at com.hadoop.compression.lzo.LzoCompressor.init(LzoCompressor.java:272)
at com.hadoop.compression.lzo.LzoCompressor.reinit(LzoCompressor.java:216)
at com.hadoop.compression.lzo.LzoCompressor.<init>(LzoCompressor.java:198)
at hello.TestLzo.test(TestLzo.java:19)
at hello.TestLzo.main(TestLzo.java:35)
您好,刚初学LZO,但我在学习您这个实例程序时,有如下错误,您可知道原因?
“需要把你的实现类放到“com.hadoop.compression.lzo”这个包下才行。”这该怎么做,请您给些建议。
创建com.hadoop.compression.lzo包,把你的继承代码放这里
Exception in thread "main" java.lang.UnsatisfiedLinkError: com.hadoop.compression.lzo.LzoCompressor.init(I)V
at com.hadoop.compression.lzo.LzoCompressor.init(Native Method)
at com.hadoop.compression.lzo.LzoCompressor.init(LzoCompressor.java:272)
at com.hadoop.compression.lzo.LzoCompressor.reinit(LzoCompressor.java:216)
at com.hadoop.compression.lzo.LzoCompressor.<init>(LzoCompressor.java:198)
at hello.TestLzo.test(TestLzo.java:19)
at hello.TestLzo.main(TestLzo.java:35)
您好,刚初学LZO,但我在学习您这个实例程序时,有如下错误,您可知道原因?
“需要把你的实现类放到“com.hadoop.compression.lzo”这个包下才行。”这该怎么做,请您给些建议。
显示:
The Type "com.hadoop.compression.lzo.LzoCompressor" is not visible
需要把你的实现类放到“com.hadoop.compression.lzo”这个包下才行。
LzoCompressor不是public的
需要把你的实现类放到“com.hadoop.compression.lzo”这个包下才行。
LzoCompressor不是public的
显示:
The Type "com.hadoop.compression.lzo.LzoCompressor" is not visible
有什么错误呢?
LzoCompressor lzoCompressor = new LzoCompressor(strategy, lzoBufferSize);
发表评论
-
cloudera CDH5 vmware中cloudera manager报错"Internal error while querying the Host "
2014-07-22 10:19 1967无法获取host和service状态,解决办法: s ... -
thrift0.9.1简单教程(包含Java服务端和Java、python客户端)
2014-04-25 15:55 6351一、Thrift Java服务端和客户端 官 ... -
yum错误“Error in PREUN scriptlet in rpm package ”
2014-03-10 12:07 3931打算通过yum安装软件,发展之前有软件残骸。使用yu ... -
搭建cloudera yum私服
2014-03-05 11:08 3167一、安装Cloudera yum仓库 1. 下载仓库rpm ... -
cloudera创建私服错误一例
2014-02-24 11:41 1339执行“reposync -r cloudera-cdh4 ” ... -
Cloudera Manager的Hadoop配置文件管理
2014-02-11 10:21 11403本文基于Cloudera Manager 4.8,以下简称 ... -
修改cloudera manager管理主机名(转)
2014-02-10 14:22 7589I installed the Cloudera Mana ... -
cloudera manager tasktrakcer监控状态错误
2014-02-10 11:32 1239此文用作图片外链。cloudera网站坑爹呀! -
cloudera manager 4.8 添加设备DNS反向解析问题
2014-01-28 16:20 3713添加设备时agent会使用host命令反向解析获取clou ... -
apache kafka v0.8入门遇到问题
2014-01-23 12:20 1628官方文档:https://kafka.apache.org/ ... -
hadoop2.0(cdh4) fs client错误"java.io.IOException: No FileSystem for scheme: hdfe"
2013-12-31 12:32 10010启动dfs client时候报错:“java.io.IOE ... -
Hadoop Combiner的几个调用时间点
2013-12-20 08:37 2918Combiner是在Map端被执行,共有两个时机会被触 ... -
hadoop1.0中NameNode HA的妥协方案
2013-12-10 16:26 1498hadoop1.0没有HA,可以添加NFS做为metada ... -
hdaoop2.x (CDH4、5)下使用DFS Client(包含HA)
2013-12-09 16:42 3271一、不使用HA场景 1.1 获取FileSystem(下 ... -
Hadoop学习指南
2013-11-26 14:26 1361安装配置 CDH4(hadoop2.0) 端口 C ... -
cloudera cdh中hadoop-client包的作用
2013-11-22 22:12 4065hadoop-client是为了让开发者可以很方便的使用当前 ... -
could only be replicated to 0 nodes instead of minReplication (=1)
2013-11-18 17:02 13831一、出现这个错误,先看看DN是不是正常启动并与NN通信,使用 ... -
Hadoop Pig获取HDFS文件名
2013-11-15 08:37 3181A = LOAD 'input' using PigS ... -
cloudera CDH5正式版(与CDH4比较)
2013-11-04 22:14 2490要求JDK7以上,JDK6不被支持 基于a ... -
Pig写UDF解析XML遇到一诡异错误“ClassNotFoundException”
2013-10-16 10:11 1246UDF中使用apache digester做XML解析,代码 ...
相关推荐
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
配置hadoop支持LZO和snappy压缩
hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.15.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.15.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...
编译后的hadoop-lzo源码,将hadoop-lzo-0.4.21-SNAPSHOT.jar放到hadoop的classpath下 如${HADOOP_HOME}/share/hadoop/common。hadoop才能正确支持lzo,免去编译的烦恼
将生成的 build/hadoop-lzo-0.4.15.jar cp 到 /usr/local/hadoop-1.0.2/lib 测试解压程序 bin/hadoop jar /usr/local/hadoop-1.0.2/lib/hadoop-lzo-0.4.15.jar ...
hadoop-lzo-0.4.21-SNAPSHOT.jar是hadoop数据压缩lzo工具包
hdfs默认不支持lzo压缩,需要通过将lzo源码融入hadoop源码,重新编译hadoop源码;或者编译lzo源码生成jar,作为插件使用
LZO:实时数据压缩库 hadoop-LZO:hadoop中可切割数据的LZO压缩 资源包含:lzo-2.06.tar.gz, hadoop-lzo-master.zip
hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包 hadoop-lzo-0.4.13.jar 依赖包
hadoop lzo 压缩算法的所有工程,包括hadoop-lzo-master,编译好之后的target文件夹和hadoop-lzo-0.4.20-SNAPSHOT.jar文件。复制到eclipse中,可以直接使用lzo压缩算法。
Hadoop IO操作压缩的lzo算法的jar包,中间包含LzoCodec,和LzoPCodec
hadoop-lzo-0.4.15.tar.gz
LZO代码库拥有GPL许可,因而可能没有包含在Apache的发型版本中