hadoop集群搭建(亲测笔记)

350次阅读
没有评论

——步骤:

  1. 准备3台机器
  2. 同步时间
  3. 配置主机名 
  4. 配置主机名ip映射
  5. 免密登录
  6. 关闭防火墙
  7. 搭建zookeeper集群
  8. 搭建hadoop

准备3台机器

我通过VMware workstation虚拟出3台centos7并配置好网络

同步时间

ntpdate cn.pool.ntp.org  (通过yum install ntpdate安装)

配置主机名 

# (重启生效)
vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=node1

# 或者 (立即生效,且重启依然)
hostnamectl set-hostname your-hostname

我直接给我の3台机器分别命名为node1、node2、node3

配置主机名ip映射

vi /etc/hosts

192.168.198.100    node1
192.168.198.101    node2
192.168.198.102    node3

免密登录

ssh-keygen -t rsa #4个回车生成密钥

#给3台机器拷贝密钥
ssh-copy-id node1  #没错,自己也需要
ssh-copy-id node2
ssh-copy-id node3
#以上步骤全都在主节点(node1)上操作

#可以通过如下命令测试是否可以免密登录
ssh node1  # ssh node2/ssh node3

关闭防火墙

systemctl disable firewalld.service    
systemctl stop firewalld.service      
systemctl status firewalld.service  # 看状态

搭建zookeeper集群

搭建hadoop

这两步基本和  搭建hadoop3.2.0集群搭建 https://blog.csdn.net/LW_GHY/article/details/87862903)这篇文章完全一样了,补充两点:

zookeeper启动后可以用 tail -40 zookeeper.out 命令查看下日志,方便排错(基本都是配置错了导致の[汗!!!])

hadoop启动后可以用jps命令查看下状态

[root@node1 ~]# jps
1568 QuorumPeerMain
2227 JournalNode
2679 NameNode
3816 Jps
2841 DataNode

参考:

 搭建hadoop3.2.0集群搭建 

facingscreen
版权声明:本站原创文章,由 facingscreen2022-08-12发表,共计961字。
转载说明:本文为搜栈网原创文章,除特殊说明外皆由CC-4.0协议发布,转载请注明出处,如有帮助欢迎打赏。
评论(没有评论)
验证码