博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
CentOS7安装hadoop2.7.3-单机版
阅读量:4163 次
发布时间:2019-05-26

本文共 2321 字,大约阅读时间需要 7 分钟。

文章目录

安装版本

操作系统:CentOS7 64位

IP地址:192.168.43.61

Hadoop版本:2.7.3

JDK版本:OpenJDK 1.8 64位

OpenJDK安装

使用yum安装OpenJDK1.8,参看博客:

安装完毕后要配置好环境变量,这里设置全局的环境变量,即修改 /etc/profile 文件

环境准备

  1. 关闭防火墙并设置开机禁用(单机版通常是学习用的,因此这里直接简单粗暴将防火墙关闭)
    systemctl stop firewalld.servicesystemctl disable firewalld.service
  2. 配置hosts
    vim /etc/hosts#输入如下内容192.168.43.61 hmaster
  3. 创建hadoop用户并设置密码(这里设置为hadoop/123456)
    useradd hadooppasswd hadoop
  4. 查看是否安装了ssh客户端,若未安装,则必须先安装
    # 查看是否安装ssh客户端rpm -qa|grep ssh# 安装ssh客户端命令yum install openssh-clients.x86_64
    在这里插入图片描述
  5. 校验ssh登录
    ssh localhost
    在这里插入图片描述

hadoop安装

  1. 下载 hadoop-2.7.3.tar.gz,下载地址:
  2. 切换到hadoop用户,将hadoop-2.7.3.tar.gz上传、解压、配置环境变量
    su hadoopcd /home/hadooptar -zxvf hadoop-2.7.3.tar.gzsu rootvim /etc/profile# 输入如下内容后保存export HADOOP_HOME=/home/hadoop/hadoop-2.7.3export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile
  3. 配置hadoop运行环境文件
    su hadoopvim /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh# 指定java主目录export JAVA_HOME=/usr/lib/jvm/java-1.8.0
  4. 配置 core-site.xml
    vim /home/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml
    fs.defaultFS
    hdfs://hmaster:9000
    hadoop.tmp.dir
    /home/hadoop/hadoop-2.7.3/tmp
  5. 配置 hdfs-site.xml
    vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
    dfs.replication
    1
  6. 配置 mapred-site.xml
    cp /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xmlvim /home/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
    mapreduce.framework.name
    yarn
  7. 配置 hdfs-site.xml
    vim /home/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml
    yarn.resourcemanager.hostname
    hmaster
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  8. 格式化NameNode
    su hadoophdfs namenode -format
    在这里插入图片描述
  9. 免密登录
    su hadoopssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/authorized_keys
  10. 启动
    start-all.sh
    在这里插入图片描述

验证

查看进程号:jps

在这里插入图片描述
访问NameNode:
在这里插入图片描述
访问hdfs:
在这里插入图片描述

参考

官方手册:

转载地址:http://qzpxi.baihongyu.com/

你可能感兴趣的文章
前阿里手淘前端负责人@winter:前端人如何保持竞争力?
查看>>
【JavaScript 教程】面向对象编程——实例对象与 new 命令
查看>>
我在网易做了6年前端,想给求职者4条建议
查看>>
SQL1015N The database is in an inconsistent state. SQLSTATE=55025
查看>>
RQP-DEF-0177
查看>>
MySQL字段类型的选择与MySQL的查询效率
查看>>
Java的Properties配置文件用法【续】
查看>>
JAVA操作properties文件的代码实例
查看>>
java杂记
查看>>
RunTime.getRuntime().exec()
查看>>
Oracle 分组排序函数
查看>>
VMware Workstation 14中文破解版下载(附密钥)(笔记)
查看>>
日志框架学习
查看>>
日志框架学习2
查看>>
SVN-无法查看log,提示Want to go offline,时间显示1970问题,error主要是 url中 有一层的中文进行了2次encode
查看>>
DeepLearning tutorial(7)深度学习框架Keras的使用-进阶
查看>>
第三方SDK:JPush SDK Eclipse
查看>>
第三方开源库:imageLoader的使用
查看>>
Android studio_迁移Eclipse项目到Android studio
查看>>
转载知乎-前端汇总资源
查看>>