1.hadoop的分布式安装过程
1.1 分布结构 主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode
从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker
1.2 各节点重新产生ssh加密文件
1.3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息
1.4 两两节点之间的SSH免密码登陆
ssh-copy-id -i hadoop1
scp /root/.ssh/authorized_keys hadoop1:/root/.ssh/
1.5 把hadoop0的hadoop目录下的logs和tmp删除
1.6 把hadoop0中的jdk、hadoop文件夹复制到hadoop1和hadoop2节点
scp -r /usr/local/jdk hadoop1:/usr/local/
1.7 把hadoop0的/etc/profile复制到hadoop1和hadoop2节点,在目标节点中执行source /etc/profile
1.8 编辑hadoop0的配置文件slaves,改为从节点的hostname,分别是hadoop1和hadoop2
1.9 格式化,在hadoop0节点执行hadoop namenode -format
1.10 启动,在hadoop0节点执行start-all.sh
****注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。
2.动态的增加一个hadoop节点
2.1 配置新节点的环境
2.2 把新节点的hostname配置到主节点的slaves文件中
2.3 在新节点,启动进程
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker
2.4 在主节点执行脚本 hadoop dfsadmin -refreshNodes
3.动态的下架一个hadoop节点
===================================================================================
1==
(1)hostname chaoren
(2)vi /etc/sysconfig/network
(3)vi /etc/hosts
192.168.1.130 hadoop0
192.168.1.131 hadoop1
192.168.1.132 hadoop2
2===
ssh-copy-id -i hadoop1
scp /root/.ssh/authorized_keys hadoop1:/root/.ssh/
scp /root/.ssh/authorized_keys hadoop2:/root/.ssh/
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
scp -r /usr/local/jdk hadoop1:/usr/local/
scp -r /usr/local/hadoop hadoop1:/usr/local/
scp -r /usr/local/jdk hadoop2:/usr/local/
scp -r /usr/local/hadoop hadoop2:/usr/local/
scp -r /etc/profile hadoop1:/etc/profile
scp -r /etc/profile hadoop2:/etc/profile
source /etc/profile
- 浏览: 62570 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (107)
- Scrapy (3)
- git (1)
- eclipse (2)
- PostgreSQL (17)
- jstl (1)
- python (11)
- Oracle (6)
- jquery (2)
- MongoDB (5)
- redis (0)
- Shell (3)
- Java-POI (2)
- solr (3)
- Java (12)
- nutch (0)
- Linux (7)
- PyLucene (1)
- hadoop (13)
- maven (1)
- Kafka (3)
- oozie (2)
- Kerberos (1)
- mysql (4)
- 杂记 (1)
- Storm (0)
- spark (1)
- nosql (0)
- hive (0)
- hbase (0)
- 项目管理 (2)
- jetty (0)
- jquery page翻页代码 (0)
- liferay portal 6 (1)
- spring boot -redis (0)
最新评论
发表评论
-
Mahout--学习资料
2015-04-16 16:00 318IBM--推荐系统:http://www.ibm.com/d ... -
Hadoop RPC
2015-04-10 00:27 0第一部分:什么是RPC ... -
Hadoop 管理
2015-04-10 00:27 0第一部分:HDFS管理 命令行工具 •HDFS文件系 ... -
Hadoop IO
2015-04-10 00:26 0第一部分:数据完整性 ... -
MapReduce高级编程
2015-04-10 00:25 0第一部分:重要的组件 Combiner ... -
hadoop tunning笔记
2015-04-10 00:23 0第一部分:core-site.xml ... -
hadoop tunning
2015-04-10 00:20 431选项 类型 默认值 描述 ... -
hive UDF 与hive UDAF开发
2015-04-09 23:19 0hive UDF HIVE允许用户使用UDF(user def ... -
hadoop2.x分布式安装
2015-03-30 00:43 0前期的环境准备都一样的,就不多说了----------vi / ... -
Hadoop 2.x伪分布式安装_20140729
2015-03-30 00:43 0软件的安装目录: ... -
11_flume
2015-03-30 00:42 0目前常见的日志收集系统:facebook-scribe、clo ... -
10_sqoop
2015-03-30 00:42 0SQOOP是用于对数据进行导入导出的。 (1)把MySQ ... -
09_hive
2015-03-30 00:42 01.Hive1.1在hadoop生态圈中 ... -
08_pig
2015-03-30 00:41 01.Pig是基于hadoop的一个数据处理的框架。 MapR ... -
07_Hbase集群搭建
2015-03-30 00:41 01.hbase的机群搭建过程(在原来的hadoop0上的hba ... -
06_HBase单节点
2015-03-30 00:40 01.HBase(NoSQL)的数据模型1.1 表(table) ... -
05_ZooKeeper
2015-03-30 00:40 4871.ZooKeeper 1.1 zk可以用来保证数据在z ... -
03_hdfs操作
2015-03-30 00:39 4381.对hdfs操作的命令格式是hadoop fs 1. ... -
02_单节点安装
2015-03-30 00:38 3841.hadoop的伪分布安装 hadoop-1.2.01.1 ... -
Hadoop--CLI的解析
2015-03-17 15:51 720基于 Apache Commons CLI 的命令行设计 ...
相关推荐
1.Hadoop入门进阶课程_第1周_Hadoop1.X伪分布式安装.pdf
03 云计算与大数据培训课程_Hadoop2.x64位伪分布式安装指南(Ubuntu).zip
Hadoop是大数据技术中最重要的框架之一,是学习大数据必备的第一课,在Hadoop平台之上,可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级!以企业实际生产环境为背景,增加了更...
第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件系统.pdf第四章(Hadoop大数据处理实战)Hadoop分布式文件...
04_hadoop_hdfs1分布式文件系统04 05_hadoop_hdfs1分布式文件系统05 06_hadoop_hdfs1分布式文件系统06 07_hadoop_hdfs1分布式文件系统07 08_hadoop_hdfs1分布式文件系统08_io 09_hadoop_hdfs1分布式文件系统09_io 10...
Hadoop2.x版本完全分布式安装与部署,介绍完整过程,有图,条理十分清晰,包看包会。上课专用。
替换至 hadoop 2.X/etc/hadoop 目录即可使用
练习搭建伪分布Hadoop3.X集群,只用于刚刚开始学习搭建hadoo伪分布式集群的人群,帮助大家快速搭建Hadoop3.X伪分布式集群,快速入门大数据为日后的学习打下坚实的基础
Hadoop2.x64 位伪分布式安装指南
Hadoop高可用集群安装,4节点;Hadoop完全分布式安装以及相关组件:zookeeper、Kafka、mysql、Hive、Spark等
采用Docker Swarm集群方式, 部署Hadoop3.x + HBase2.x的真正分布式集群环境,趟坑无数, 配置文件已整理好,内置Dockerfile构建文件、docker-compose脚本文件、hbase安装包、hadoop配置文件等。可以根据生产环境, ...
云帆大数据hadoop-1.2.1-PPT-02 Hadoop 1.x介绍、本地(单机)模式和伪分布式安装与测试
Hadoop是一个分布式系统基础框架,它的核心部分是HDFS和MapReduce。HDFS是基于流数据访问模式的分布式文件系统,支持海量数据的存储;MapReduce是分布式并行编程模型,用于进行大数据量的计算。
hadoop3.x分布式平台搭建、HBase分布式集群安装与配置
如果用的是 CentOS/RedHat 系统,请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。 本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,如 Hadoop 2.7.1、...
Hadoop3.x在组成上没有变化Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。 (1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每...
主要为大家详细介绍了Hadoop 2.x伪分布式环境搭建详细步骤,感兴趣的朋友可以参考一下
Hadoop介绍、安装_分布式集群模式、分布式文件系HDFS_1基本命令、分布式文件系统HDFS_2_JavaAPI容器内运行等等
《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf