heipark
- 浏览: 2079739 次
- 性别:
- 来自: 北京
-
最新评论
-
伍大都督：
解释太到位了，感谢分享
理解Linux系统中的load average（图文版） -
rfjian123：
非常感谢，用你的方法解决了问题。
Server sent unexpected return value (403 Forbidden) in response to OPTIONS -
yuhaifei12：
今天遇到同样的问题了。设置的是每分钟执行一次。结果发现每分钟执 ...
解决Linux下crontab同一时间重复执行问题 -
BigBird2012：
想问一下，使用ExecutorService每次都要调用 sh ...
spring quartz使用多线程并发“陷阱” -
zhuqx1130：
有用，谢谢
解决Sublime Text 3中文显示乱码（tab中文方块）问题
文章列表
在pom中声明ant插件：maven-antrun-plugin
设置ant在maven哪个"phase"和“goal”执行
编写ant task
在pom文件声明package类型为war包：<packaging>war</packaging>
打包：mvn clean package 或者 mvn clean package -DskipTests=true
下面是我程序中使用的片段，在打war包同时将线上的jdbc文件替换开发使用的jdbc文件。
<plugin>
<a ...
解析 bin/hadoop 文件
- 博客分类：
- hadoop
$HADOOP_HOME/bin/hadoop文件是Hadoop主要shell脚本，它提供格式化HDFS、恢复namenode、HDFS Shell、任务提交等诸多功能，它的执行语句在最后一行，如下：
exec "$JAVA" $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
下面是这几个变量的说明：
$JAVA
$JAVA_HOME/bin/java
$JAVA_HEAP_MAX
-Xmx1000m
...
使用alias配置目录“/data1/tencent/publish”
Alias /accesslog "/data1/tencent/publish"<Directory "/data1/tencent/publish"> AllowOverride AuthConfig Options Indexes MultiViews FollowSymLinks Order allow,deny Allow from all</Directory>
publish目录为权限为755，访问服务器报错：Fo ...
第一条：一定要保证集群设备配置文件（包括/etc/hosts）一致，否则因为配置文件导致的各种问题会让你崩溃。（如果有集群配置管理系统除外）
secondary namenoded 配置很容易被忽视，如果jps检查都正常，大家通常不会太关心，除非namenode发生问题的
时候，才会想起还有个secondary namenode，它的配置共两步：
集群配置文件conf/master中添加secondarynamenode的机器名
修改/添加 hdfs-site.xml中如下属性：
<property> <name>dfs.http.address</name> <value>{your_namenode_ip}:50070</value> ...
查看集群状态：
hadoop dfsadmin -report
显示块的信息，包括：备份数量，存在哪个节点，保存状态
hadoop fsck /user/ak47/tmp_0.gz -files -racks -blocks
检查HDFS状态：
hadoop fsck {path}举例：hadoop fsck /user
使用distcp在集群间进行文件复制（在dist机器执行）
hadoop distcp hdfs://{src_host_ip}:9000/log/src/FCACCESS/20110105/00 h ...
/dfs/namesecondary下只有current的空文件夹和lastcheckporint.tmp（文件名记不清了）文件，检查logs，发现如下错误：
2011-06-09 11:06:41,430 INFO org.apache.hadoop.hdfs.server.common.Storage: Recovering storage directory /tmp/hadoop-hadoop/dfs/namesecondary from failed checkpoint.2011-06-09 11:06:41,433 ERROR org.apache.hadoop.h ...
查看机器有多少core
cat /proc/cpuinfo | grep processor |wc -l
查看cpu主频
cat /proc/cpuinfo |grep MHz|uniq
查看机器有多少物理CPU
通过"cat /proc/cpuinfo"查询model name，然后到intel官方网站查询（http://ark.intel.com/Product.aspx?id=37096）。比如我的服务器CPU为
Intel® Xeon® Processor E5506，表格“#of Cores”为CP ...
查看当前运行job列表：
hadoop job -list
kill job举例，最后一个参数是Job Id
hadoop job -kill job_201106031716_0031
第一步：
将hive-0.7.0\lib\py 中所有py文件拷贝到你自己的Python工程中。第二步：
把下面的代码拷贝一份新建一个py文件，修改IP,port ,输入要执行的SQL。
#encoding=utf-8
from hive_service import ThriftHive
from hive_service.ttypes import HiveServerException
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transpo ...
使用hadoop eclipse-plugin删除hdfs文件报错，错误信息：
Unable to delete file
....
org.apache.hadoop.security.AccessControlException: Permission denied: user =test , access=WRITE, inode="pokes":hadoop:supergroup:rwxr-xr-x
解决：打开插件“Map/Reduce Location”，选中一个Location，打开“Advance parameters” Tab，找到&qu ...
下载安装
wget http://mirror.bjtu.edu.cn/apache/hive/hive-0.7.0/hive-0.7.0.tar.gztar -zxf hive-0.7.0.tar.gz cd hive-0.7.0vi ~/.bashrcexport HIVE_HOME={you_hive_home_here}export PATH=$HIVE_HOME/bin:$PATH
初始化HDFS路径
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chm ...
vi /etc/resolv.conf，可以添加多个DNS
nameserver 202.106.196.115
nameserver 202.106.0.20
定义一个job：ranJob，设置每秒执行一次，设置不允许覆盖并发执行
<bean id="rankJob" class="com.chinacache.www.logstat.job.RankJob" />
<bean id="rankJobDetail"
class="org.springframework.scheduling.quartz.MethodInvokingJobDetailFactoryBean">
<property name=" ...
windows运行“django-admin.py startproject hello”创建django项目时报错“ImportError: No module named django.core”
原因：安装两个版本的python，运行py程序使用前一个版本python程序所致
解决：卸载老版本python，在删除程序过程选择“repair”修复py文件管理程序，再试试就OK了。
用pydev开发django大量报错import error，提示找不到库
解决一：打开preference-> pydev ->interpreter python -> For ...