一、Hadoop 2.x 分布式安装部署

1、Hadoop 2.x 散布式安装部署


1.散布式部署hadoop 2.x

1.1克隆虚拟机并完成相干配置

1.1.1克隆虚拟机

点击原有虚拟机–>管理–>克隆–>下1步–>创建完成克隆–>写入名称hadoop-senior02–>选择目录

1.1.2配置修改

1)启动克隆虚拟机(内存配置:01:2G;02:1.5G;03:1.5G)
2)修改主机名:改两处
3)修改网卡名称
编辑 /etc/udev/rules.d/70-persistent-net.rules
—>注释掉包括eth0的行
—>把包括eth1行中的eth1改成eth0
https://www.bobi11.com/wp-content/uploads/2021/07/1626323145-b72f0587e0289f0.png-50.5kB

编辑 /etc/sysconfig/network-script/ifcfg-eth0
—>将mac地址改成虚拟机设置的地址
https://www.bobi11.com/wp-content/uploads/2021/07/1626323145-324dc5caf1f2ba9.png-38.7kB

5)配置完后重启
6)设置固定IP
https://www.bobi11.com/wp-content/uploads/2021/07/1626323146-9aa1610395babhttps://www.bobi11.com/wp-content/uploads/2021/07/1626323146-93ca147a468c64b.png-66.7kB

7)将3台机器都连接到crt

1.2对集群中的虚拟机进行基本配置准备工作

1)首先将/tmp目录下的所有东东都删掉

$cd /tmp

$sudo rm -rf ./*

2)将hadoop⑵.5.0,maven,m2所有删除

$cd /opt/modules/

rmrf./hadoop2.5.0/rm -rf ./apache-maven⑶.0.5/
cd /.m2/rm -rf ./*

3)将所有机器的主机名和IP映照好
编辑/opt/hosts
将所有机器添加每台机器的映照,即在每台虚拟机上打开该文件,并以下添加:
https://www.bobi11.com/wp-content/uploads/2021/07/1626323146-2a0c00b1e8e426d.png-40.5kB
在windows中Hosts文件也一样配置映照
https://www.bobi11.com/wp-content/uploads/2021/07/1626323146-93ca147a468c64b.png-8.3kB
如此在任1机器上都可以连接集群中的其他有机器。

4)在所有机器的opt目录下添加1个目录/app/并修改归属,所有集群都在这下面做(集群的安装目录必须统1!)

$sudo mkdir /opt/app

$sudo chown -R beifeng:beifeng /opt/app/

5)将hadoop⑵.5.0解压到app目录下(将1台机器配好,然后发送给其他机器)

$tar -zxf /opt/softwares/hadoop⑵.5.0.tar.gz -C /opt/app/

1.3公道计划hadoop服务组件部署

散布式架构都采取主从架构,若为伪散布式则主从都在1台机器,若散布式则主节点在1台机器,从节点在多台机器。1般把datanode和nodermanager放在1台机器上,前者使用电脑磁盘空间去存储数据,后者使用内存与CPU去计算分析数据。
若使用3台虚拟机则可配置以下

3台 hadoop-senior hadoop-senior02 hadoop-senior03
内存 2G 1.5G 1.5G
CPU 1核 1核 1核
硬盘 20G 20G 20G
服务组件 namenode
resourcemanager
datanode datanode datanode
nodemanager nodemanager nodemanager
MRHistoryserver secondarynamenode

若使用2台虚拟机则可配置以下(本次练习只使用两台机器)

2台 hadoop-senior hadoop-senior02
内存 2G 1.5G
CPU 1核 1核
硬盘 20G 20G
服务组件 resoucemanager
namenode
datanode datanode
nodemanager nodemanager
secondarynamenode MRHistoryserver

1.4以【hadoop 2.x伪散布式部署】为模板,配置各个服务组件部属节点

1.4.1配置${JAVA_HOME}

打开hadoop-evn.sh,mapred-env,yarn-env.sh
配置jdk的目录给JAVA_HOME
https://www.bobi11.com/wp-content/uploads/2021/07/1626323146-8f6fae9366dd5a8.png-12.6kB

1.4.2配置hdfs

创建tmp目录:

$mkdir -p /opt/app/hadoop2.5.0/data/tmp

打开core-site.xml,添加配置以下:
https://www.bobi11.com/wp-content/uploads/2021/07/1626323146-11cce7519742191.png-34.7kB

打开slaves,配置以下
https://www.bobi11.com/wp-content/uploads/2021/07/1626323147-8fc33da1779457c.png-6.3kB

打开hdfs-site.xml
https://www.bobi11.com/wp-content/uploads/2021/07/1626323147-dcf432abcde59be.png-38.7kB

1.4.3配置yarn

打开yarn-site.xml, 配置以下:
https://www.bobi11.com/wp-content/uploads/2021/07/1626323148-af732239d4279a7.png-49.6kB

1.4.4配置historyserver

打开mapred.site.xml,配置以下:
https://www.bobi11.com/wp-content/uploads/2021/07/1626323148-e79a3e481a8fece.png-27.7kB

1.5分发hadoop到个机器,并启动hdfs,yarn

1.5.1分发

$scp -r hadoop-2.5.0/ beifeng@hadoop-senior02.ibeifeng.com:/opt/app/

1.5.2启动HDFS,YARN

1)先格式化hdfs
2)启动 senior02的namenode,两台datanode
3)启动senior的resourcemanager,两台nodemanager
4)启动senior02的Jobserver
5)启动senior的secondarynamenode
https://www.bobi11.com/wp-content/uploads/2021/07/1626323149-0d478b04d2f380e.png-28.1kB
https://www.bobi11.com/wp-content/uploads/2021/07/1626323149-c9e1b559a68f0eb.png-31.6kB

WEB UI查看datanode已生成了2个
https://www.bobi11.com/wp-content/uploads/2021/07/1626323149-eb48df0b599baa7.png-46.8kB

WEB UI查看 nodemanager也有两个
https://www.bobi11.com/wp-content/uploads/2021/07/1626323150-7262f870f1c4382.png-141.9kB

1.6测试

1.6.1上传文件

新建目录

$bin/hdfs dfs -mkdir -p tmp/conf

上传文件

$bin/hdfs dfs -put etc/hadoop/*-site.xml tmp/conf

https://www.bobi11.com/wp-content/uploads/2021/07/1626323151-9027d152c6e228e.png-57.5kB
读取文件

$bin/hdfs dfs -text tmp/conf/core-site.xml

https://www.bobi11.com/wp-content/uploads/2021/07/1626323152-4d9320f8aa71995.png-103.8kB

1.6.2 wordcount程序测试

1)新建目录

$bin/hdfs dfs -mkdir -p mapreduce/wordcount/input

2)上传文件到目录

bin/hdfs dfs -put /opt/datas/wc.input mapreduce/wordcount/input

https://www.bobi11.com/wp-content/uploads/2021/07/1626323152-895befc123f22b4.png-22.7kB

3)运行wordcount程序

$bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount mapreduce/wordcount/input mapreduce/wordcount/output

https://www.bobi11.com/wp-content/uploads/2021/07/1626323152-f7b3d49606b72d6.png-83.1kB

4)读取文件

$bin/hdfs dfs -text mapreduce/wordcount/output/par*

https://www.bobi11.com/wp-content/uploads/2021/07/1626323153-0ca7647c3f1806b.png-39.3kB

1.6.3基准测试(指南p315)

测试磁盘内存
1)

$bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar

2)

$bin/yarn jar hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.5.0.jar

1.7配置ssh无秘钥登入

现将原本的全删掉:

$cd .ssh/
$rm -rf ./*

在主节点上分别配置nodemanager 和 resourcemanage两个主节点:
1)生成1对公钥与密钥

$ssh-keygen -t rsa

2)拷贝公钥到各个机器上

$ssh-copy-id bigdata-senior.ibeifeng.com
$ssh-copy-id bigdata-senior02.ibeifeng.com

3)shh链接

$ssh bigdata-senior.ibeifeng.com
$ssh hadoop-senior02.ibeifeng.com

如图
1.png-177.9kB

1.8集群时间同步

集群时间同步

1.8.1 找1台机器作为时间服务器,所有机器与这台时间服务器进行同步时间

如在01机上:
1)查看时间服务器是不是安装:

sudo rmp -qa|grep ntp

2)查看时间服务器运行状态

sudo service ntp status

3)开启时间服务器

sudo chkconfig ntpd start

4)设置随机启动

sudo chkconfig ntpd on

5)查看启动状态

sudo chkconfig --list|grep ntpd

6)配置文件

sudo vi /etc/ntp.conf

3处修改:
(1)删除下1行的注释,并修改网段(IP地址的前3串,后面为.0)

restrict 192.168.194.0 mask 255.255.255.0 nomodify notrap 

(2)将时间服务器server注释掉

#server 0.centos.pool.ntp.org
#server 1.centos.pool.ntp.org 

(3)去掉以下两行注释

server 127.127.1.0....
fudge 127.127.1.1.0.....

7)重启服务器

sudo service ntpd restart

8)时间服务器与bios同步

$sudo vi /etc/sysconfig/ntpd

添加内容:
SYNC_HWLOCK=yes
等待5分钟

1.8.2 配置所有机器与该机器同步

1)配置所有机器与这台hadoop-senior机器同步

sudo /usr/sbin/ntpdate hadoop-senior.ibeifeng.com

2)写1个定时任务,每过1段时间与时间服务器进行同步时间
首先切换到root
设置每过10分钟更新1次同步

$sudo crontab -e

加入:0⑸9/10* * * */user/sbin/ntpdate hadoop-senior.ibeifeng.com

3)设置时间

sudo date -s 2015-11-17
sudo date -s 17:54:00

波比源码 – 精品源码模版分享 | www.bobi11.com
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如遇到加密压缩包,请使用WINRAR解压,如遇到无法解压的请联系管理员!

波比源码 » 一、Hadoop 2.x 分布式安装部署

发表评论

Hi, 如果你对这款模板有疑问,可以跟我联系哦!

联系站长
赞助VIP 享更多特权,建议使用 QQ 登录
喜欢我嘛?喜欢就按“ctrl+D”收藏我吧!♡