Fork me on GitHub

Centos8 安装 JDK Hadoop HBase Zookeeper

字数统计: 1.4k字   |   阅读时长≈ 7分

Centos8 安装 JDK Hadoop HBase Zookeeper

配置JDK

1
2
3
4
5
6
7
vi /etc/profile

export JAVA_HOME=/export/servers/jdk
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

安装Hadoop

下载并解压 Hadoop

1
tar -zxvf hadoop-2.10.1.tar.gz

修改环境变量 vi /etc/profile

1
2
export HADOOP_HOME=/export/servers/hadoop-2.10.1
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

验证安装

1
hadoop version

Hadoop 集群配置

修改Hadoop-env.sh配置文件

1
cd /export/servers/hadoop-2.10.1/etc/hadoop; vi hadoop-env.sh

修改 

1
2
# export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/export/servers/jdk

修改core-site.xml文件

core-site.xml```
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

指定Hadoop集群文件系统类型：HDFS(分布式)并且主节点在hadoop01上端口号为9000
指定Hadoop临时文件存储目录

```xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/servers/hadoop-2.10.1/tmp</value>
    </property>
</configuration>

修改hdfs-site.xml文件

指定Hadoop存储文件时的生成副本数：3
指定辅助管理节点在hadoop02端口号为50090

1
2
3
4
5
6
7
8
9
10
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop02:50090</value>
    </property>
</configuration>

配置hadoop集群主节点

修改mapred-site.xml文件
指定MapReduce运行时框架，指定在Yarn上，默认是local
复制模板，修改: cp mapred-site.xml.template mapred-site.xml; vi mapred-site.xml

1
2
3
4
5
6
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml文件
分布式资源调度系统
设置yarn主节点在hadoop01
辅助配置

1
2
3
4
5
6
7
8
9
10
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

修改slaves文件。先删除里面默认localhost,再修改
配置整个集群的从节点，包括hdfs从节点和yarn的从节点

1
2
3
hadoop01
hadoop02
hadoop03

将主节点文件发送到其他子节点

1
2
3
4
scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/

到hadoop02和hadoop03执行命令使文件生效：source /etc/profile

一键启动 官网

1
2
3
4
5
6
hdfs namenode -format
hadoop namenode -format

1. 主节点运行 start-dfs.sh 或 stop-dfs.sh 启动所有HDFS服务
2. 所有子节点运行 start-yarn.sh 或 stop-yarn.sh 启动子节点YARN服务
3. 在主节点运行 start-all.sh 或 stop-all.sh 启动hadoop集群

浏览器输入：

NameNode界面:　http://hadhoop01:50070/dfshealth.html#tab-overview
HDFS NameNode界面：http://hadhoop01:8042

测试

1
2
3
4
5
6
7
8
9
10
11
mkdir -p /export/data; cd /export/data/
vi word.txt
ls

hadoop fs -mkdir -p /wordcount/input
hadoop fs -put /export/data/word.txt /wordcount/input

cd /export/servers/hadoop-2.10.1/share/hadoop/mapreduce

#　进入mapreduce目录运行单纯统计jar
hadoop jar hadoop-mapreduce-examples-2.10.1.jar wordcount /wordcount/input /wordcount/output

#　zookeeper 配置

1
2
3
4
5
6
7
8
9
10
11
cd zookeeper/conf; cp zoo_sample.cfg zoo.cfg
# 设置数据文件目录+数据持久化路径
#　dataDir=/export/data/zookeeper/zkdata
# server.1=hadoop01:2888:3888
# server.2=hadoop02:2888:3888
# server.3=hadoop03:2888:3888

 mkdir -p /export/data/zookeeper/zkdata

# 1就是第一台服务器的编号
 cd /export/data/zookeeper/zkdata; echo 1 >myid

配置环境

/etc/profile```
1
2
3
4

```sh
export ZK_HOME=/export/servers/zookeeper-3.7.0
export PATH=$PATH:$ZK_HOME/bin
1
2
3
4
5
6
7
8
9
10
11
12
13
14
source /etc/profile

scp -r /export/servers/zookeeper-3.7.0/ hadoop02:/export/servers/
scp -r /export/servers/zookeeper-3.7.0/ hadoop03:/export/servers/

# 修改服务器编号
ssh root@hadoop02 'mkdir -p /export/data/zookeeper/zkdata' && echo 2 >myid;  scp -r myid hadoop02:/export/data/zookeeper/zkdata; rm -rf myid
ssh root@hadoop03 'mkdir -p /export/data/zookeeper/zkdata' && echo 3 >myid;  scp -r myid hadoop02:/export/data/zookeeper/zkdata; rm -rf myid

# 启动zookeeper
/export/servers/zookeeper-3.7.0/bin/zkServer.sh start

# 查看zookeeper 状态
/export/servers/zookeeper-3.7.0/bin/zkServer.sh status

HBase 安装

下载 HBase

解压 HBase

1
2
3
4
5
6
7
8
9
10
11
12
13
14
tar -vxzf hbase-1.2.1-bin.tar.gz  -C /export/servers/

# 将/Hadoop-2.10.1/etc/hadoop目录下的hdfs-site.xml和core-site.xml配置文件复制到/hbase-2.4.2/conf目录下
cp /export/servers/hadoop-2.10.1/etc/hadoop/{hdfs-site.xml,core-site.xml} /export/servers/hbase-2.4.2/conf

# 修改相关配置文件,跳转到/hbase/conf目录修改hbase-env.sh文件
cd /export/servers/hbase-2.4.2/conf; vi hbase-env.sh
# 指定jdk文件
$> export JAVA_HOME=/export/servers/jdk
# 配置zookeeper使用外部zookeeper（默认内部zookeeper）
$> export HBASE_MANAGES_ZK=false

# 打开hbase-site.xml
vi hbase-site.xml
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<configuration>
    <!-- 指定HBase在HDFS的存储路径 -->
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop01:9000/hbase</value>
    </property>
    <!-- 指定HBase是分布式存储方式 -->
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <!-- 指定Zookeeper地址，用”,”分隔 -->
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
    </property>
</configuration>

修改regionservers配置文件，配置从节点角色

1
2
3
4
vi regionservers

# hadoop02
# hadoop03

创建并修改backup-masters配置文件，防止单节点故障配置备用的主节点角色

1
2
3
vi backup-masters

# hadoop02

修改/etc/profile配置文件，增加

1
2
3
4
5
6
7
8
9
10
# HBase
export HBASE_HOME=/export/servers/hbase-2.4.2
# 配置zookeeper使用外部zookeeper（默认内部zookeeper）
export PATH=$PATH:$HBASE_HOME/bin:

source /etc/profile

# 分发到另外两台电脑
scp -r /export/servers/hbase-2.4.2/ hadoop02:/export/servers/
scp -r /export/servers/hbase-2.4.2/ hadoop03:/export/servers/

启动HBase集群

  1. 启动zookeeper 和 HDFS

    1
    2
    3
    4
    # 所有节点运行
    zkServer.sh start
    # 在主节点运行
    start-dfs.sh

  2. 启动HBase集群

启动HBase保证时间同步，否则报错 ClockOutOfSynException, 用data查看, 用__ntpdate –u cn.pool.ntp.org__命令同步时间.
启动HBase集群: start-hbase.sh

浏览器输入： hadoop01:16010

赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
后端开发、微服务2.0(服务网格)
、大数据、人工智能、超级账本
打工仔、开源爱好者、极客
联系QQ:2595903671
很惭愧
只做了一点微小的工作