arenzhj
- 浏览: 63232 次
- 性别:
- 来自: 上海
-
最新评论
文章列表
1.hadoop的分布式安装过程 1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode 从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker 1.2 各节点重新产生ssh加密文件 1.3 编辑各个节点的/etc/hosts，在该文件中含有所有节点的ip与hostname的映射信息 1.4 两两节点之间的SSH免密码登陆 ssh-copy-id -i hadoop1 scp ...
1.对hdfs操作的命令格式是hadoop fs 1.1 -ls <path> 表示对hdfs下一级目录的查看 1.2 -lsr <path> 表示对hdfs目录的递归查看 1.3 -mkdir <path> 创建目录 1.4 -put <src> <des> 从linux上传文件到hdfs 1.5 -get <src> <des> 从hdfs下载文件到linux 1.6 -text ...
1.hadoop的伪分布安装 hadoop-1.2.01.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令 chkconfig iptables off 验证: chkconfig --list | grep iptables1.4 设置主机名 执行命令 (1)hostname ...
commons.lang
StringEscapeUtils 处理字符转义与反转义
common.utils;
import org.apache.commons.lang.StringEscapeUtils;
import org.apache.commons.lang.StringUtils;
import org.junit.Test;
import org.springframework.web.util.HtmlUtils;
public class StringUtilsTest {
@Test
public void te ...
出处：http://idior.cnblogs.com/archive/2006/03/20/354027.html 谢谢
Kerberos协议：
Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting ticket)访问多 ...
出处: http://guoyunsky.iteye.com/blog/1243417
cloudera里面有基于Oozie的安装,但是通过sudo apt-get install oozie的方式.其中你要将cloudera hadoop的source放入sources.list.由于我升级了最新的Ubuntu.但对应的cloudera hadoop还没有相应的版本.所以添加sources.list无法成功.网上也没什么手动安装的资料,于是我就写点吧.参考来源: http://incubator.apache.org/oozie/quick-start.html#AG_Install
...
基于 Apache Commons CLI 的命令行设计
通常情况下命令行处理有三个步骤：定义，解析和询问阶段
一、定义
package org.apache.hadoop.util;--GenericOptionsParser中
private static Options buildGeneralOptions(Options opts) {
Option fs = OptionBuilder.withArgName("local|namenode:port")
.hasArg()
.withDescription("sp ...
出处：http://blog.csdn.net/conquer0715/article/details/42805947
Apache Commons CLI 是 Apache 下面的一个解析命令行输入的工具包，该工具包还提供了自动生成输出帮助文档的功能。
Apache Commons CLI 支持多种输入参数格式，主要支持的格式有以下几种：
POSIX（Portable Operating System Interface of Unix）中的参数形式，例如 tar -zxvf foo.tar.gz
GNU 中的长参数形式，例如 du --human-readable --m ...
出处：http://blog.csdn.net/zxcvg/article/details/18600335/ 谢谢
吐个槽 ：在word文档中写好的 包括图片 在csdn粘贴过来后 图片必须重新上传 不爽啊！！
Flume-ng+Kafka+storm的学习笔记
Flume-ng
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍的比较全面。
不过这里写写自己的见解
这个是 ...
出处：http://blog.csdn.net/yfkiss/article/details/17381351
本文基于Kafka 0.8
在一台机器上构建一个3个节点的kafka集群，并测试producer、consumer在正常情况下的行为，以及在lead broker/follow broker失效情况下的行为1.下载并解压kafka 0.8.0 release$ mkdir kafka$ wget http://apache.dataguru.cn/kafka/0.8.0/kafka_2.8.0-0.8.0.tar.gz$ tar -zxvf kafka_2.8.0-0.8.0.t ...
出处：http://blog.csdn.net/yfkiss/article/details/17348693
1. 引言
互联网够公司的日志无处不在，web日志，js日志，搜索日志，监控日志等等。对于这些日志的离线分析（Hadoop），wget&rsync虽然人力维护成本较高，但可以满足功能行需求。但对于这些日志的实时分析需求（例如实时推荐，监控系统），则往往必须要引入一些“高大上”的系统。
传统的企业消息系统（例如WebSphere）并不是非常适合大规模的日志处理系统，理由如下：1) 过于关注可靠性，这些可靠性增加了系统实现&API的复杂度，而在日志处理过程中， ...
IE下 file表单控件，不能用js控制打开文件选择器，必须要手动点击才可以，否则会报 “拒绝访问”。
解决方案：
1、用按钮盖住file，但让点击事件透到file上面来打开文件选择器
注：除IE其他浏览器可以的(Firefox、Chrome)
Python实现返回汉字首字母，该程序只能识别常规拼音，不能识别多音字。
#coding=gbk
def multi_get_letter(str_input):
if isinstance(str_input, unicode):
unicode_str = str_input
else:
...
出处：http://www.cnblogs.com/heyuquan/archive/2013/06/30/3163910.html
今天我想介绍的是一款jQuery的插件：Jquery.form.js 官网。
出处：http://www.cnblogs.com/stephen-liu74/archive/2012/09/22/2658670.html
1. 启动和停止MongoDB：
执行mongod命令启动MongoDB服务器。mongod有很多可配置的选项，我们通过mongod --help可以查看所有选项，这里仅介绍一些主要选项：
--dbpath：
缺省情况下数据库的数据目录为/data/db。对于Windows平台，如果当前的可执行文件位于D盘，那么其缺省数据目录为D:\data\db。我们可以通过这个选项为服务程序重新指定数据目录。如果当前 ...