hadoop安装

首先，我们需要一个linux，由于咱们的centos改为滚动更新，已经不太适合部署了，一开始想用下游替代AlmaLinux结果virtualbox不好用，那就只能使用地道的ubuntu(ubuntu Server 24.04.3 LTS)吧
有些东西在大多数的教程内没讲全，我把他们汇总起来并且进行了更正
比如root和普通用户的path问题，3.3.6版本不支持root用户直接启动问题，并且大多数教程是面向你拥有很多主机的情况
我这里是直接面向仅一台主机的情况，在学习上成本更小甚至为0

这里为什么使用ubuntu Server 24.04.3 LTS而不是常规ubuntu呢？
因为我电脑差...
安装linux

我给他分了4GB内存 4核心 40GB硬盘

第一步

这里下面要空格点一下安装openssh

然后是安装软件，可以都不安，我就不安了，我空间不够了

然后就安装了

弹出这个点reboot now
此时正式开机，注意，如果你也用的virtualbox需要强制关机一次

然后输入账号密码登录
查看ip地址(使用ip addr命令)

打码处是ip
然后设置为NAT和端口转发

然后配置22端口转发

第二步，超级ssh

使用xshell

然后新建一下目录备用

1. cd /sudo mkdir -p /export/{data,servers,software}

复制代码

接下来我们要传软件,提权一下

1. sudo chmod 777 /exportsudo chmod 777 /export/software

复制代码

然后传输

然后

1. sudo su# 直接化身root权限# 超级解压cd /export/softwaretar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/servers/# 超级改名cd /export/serversmv jdk1.8.0_391 jdk

复制代码

然后超级配置

1. vim /etc/profile

复制代码

然后在打开的文件按下键盘i，并且移动到最下面输入

1. #java配置export JAVA_HOME=/export/servers/jdkexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

复制代码

大概是这个样子

然后esc，按下:wq!退出
之后强制激活

1. source /etc/profile

复制代码

第三步，超级安装

现在有了jdk(java)就可以安装hadoop了

1. cd /export/softwaretar -zxvf hadoop-3.3.6.tar.gz -C /export/servers/

复制代码

同样的方法配置hadoop

1. vim /etc/profile# 在打开的文件内#hadoop配置export HADOOP_HOME=/export/servers/hadoop-3.3.6export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制代码

1. source /etc/profile

复制代码

第四步，去你的权限

然后这里有个小坑
就是root中权限太大了，需要单独开个java_home

1. cd /export/servers/hadoop-3.3.6/etc/hadoop/vim hadoop-env.sh#然后找到export JAVA_HOME= 改成export JAVA_HOME=/export/servers/jdk#或者直接最后一行加export JAVA_HOME=/export/servers/jdk

复制代码

然后修改core-site.xml

1. vim core-site.xml# 找到            fs.defaultFS        hdfs://hadoop01的名称:9000                hadoop.tmp.dir        /export/servers/hadoop-3.3.6/tmp   

复制代码

同理

1. vim hdfs-site.xml            dfs.replication        3                dfs.namenode.secondary.http-address        hadoop02的名称:50090   

复制代码

1. vim mapred-site.xml         mapreduce.framework.name        yarn   

复制代码

1. vim yarn-site.xml            yarn.resourcemanager.hostname        hadoop01主机                yarn.nodemanager.aux-services        mapreduce_shuffle   

复制代码

如果要组集群可以修改

1. vim workers

复制代码

然后记得给一下用户权限
先su 一开始你创建的用户

1. ssh-keygen -t rsa -P ""cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 700 ~/.sshchmod 600 ~/.ssh/authorized_keys

复制代码

并且对你当前用户的

1. vim ~/.bashrc#然后末尾java和hadoop

复制代码

第五步，超级格式化

1. hdfs namenode -format

复制代码

最后，端口转发

然后转发一下50090 50070 9000端口就好啦

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！