ama2000
- 浏览: 88234 次
- 性别:
- 来自: 杭州
-
最新评论
文章列表
-cmdenv 用于在提交作业时向Streaming进程设置环境变量，
1.参见《Hadoop权威指南 第二版》P187
2.Hadoop Streaming高级编程
http://dongxicheng.org/mapreduce/hadoop-streaming-advanced-programming/
http://bbs.chinaunix.net/thread-1779167-1-1.html
转自 http://www.cnblogs.com/chengmo/archive/2010/10/01/1839942.html
一、逻辑运算符
逻辑卷标
表示意思
1.
关于档案与目录的侦测逻辑卷标！
-f
常用！侦测『档案』是否存在 eg: if [ -f filename ]
转自 http://www.tbdata.org/archives/716
对于一般的参数，hive有以下的几种设置方式：1》配置文件：2》命令行参数：3》set参数声明：配置文件包括：用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml默认配置文件：$HIVE_CONF_DIR/hive-default.xml用户自定义配置会覆盖默认配置。另外，hive也会读入hadoop的配置，因为hive是作为hadoop的客户端启动的。hadoop的配置文件包括：$HADOOP_CONF_DIR/hive-site.xml$HADOOP_CONF_DIR/hive- ...
查看表结构的详细信息，如
desc formatted cv4_20120201;
1.待实践
http://www.blogjava.net/Man/archive/2012/02/07/369504.html
http://blog.csdn.net/dao123mao/article/details/5339201
2.cut
echo "1/2/3/4" | cut -d"/" -f1 =》1
echo "1/2/3/4" | cut -d"/" -f1,3 =》1/3
echo "1/2/3/4/5/6/7" | cut -d"/&q ...
必须是 600,700 ？？？ （其组，其他人 必须是0,0）， 否则无法生效， 待验证
http://www.oschina.net/question/12_30886?sort=time
测试机器的硬件信息： 查看CPU信息（型号） # cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 8 Intel(R) Xeon(R) CPU E5410 @ 2.33GHz (看到有8个逻辑CPU, 也知道了CPU型号) # cat /proc/cpuinfo | grep physical | uniq -c 4 physical id : 0 ...
http://blog.csdn.net/yfkiss/article/details/7019022
2. aggregate class summary
DoubleValueSum
This class implements a value aggregator that sums up a sequence of double values.
LongValueMax
This class implements a value aggregator that maintain the maximum of a sequence of long values.
...
1.判断是否存在某个key时的怪现象
//TODO
2.asort之后，下标变成1,2,3,4...
3.array["5"]="hello";
print array[5]; ??
print array[1]; ??
4.AWK的字符串化解释了 第3条中的怪现象
参见 http://www.ibm.com/developerworks/cn/linux/shell/awk/awk-1/index.html
//TODO
awk 'BEGIN{array["2&qu ...
//TODO
1. index 与 match的区别
2. length, substr, ........
3. 跟正则相关的. 替换函数 sub, gsub
3. 类似的“子表达式向前引用”
& 引用匹配到的子串
s="123aa456bb" ; sub("aa","[&]",s)
1.使用ERES， (),{} 使用这两个元字符时无需转义
SO，参考ERES对BRES的扩展
DEMO
echo -e "ab1\na1\nac2ab" | awk '/(ab|ac)/'echo -e "aa1\na1\nac2ab" | awk -W re-interval '/(a|b){2}/'echo -e "aa1\na1\nac2ab" | awk --re-interval '/(a|b){2}/'
2.{} 区间， GAWK中，需要加参数开启
-W re ...
参考这里 http://baiy.cn/utils/_regex_doc/index.htm
1.BRES定义的元字符
TODO
2.ERES对BRES的扩展/修改
ERE 修改了 BRE 中的部分语法，并增加了以下语法符号： ? - 最多一次匹配（零次或一次匹配）。 + - 至少一次匹配（一次或更多次匹配）。 | - 或运算，其左右操作数均可以为一个子表达式。 同时，ERE 取消了子表达式 "()" 和 次数匹配 "{m,n}" 语法符号的转义符引用语法，在 ...