hadoop单机模式运行

hadoop单机模式运行

   小白     2020年11月28日 10:59     1260    

1、我们使用单节点模式运行

我将所有的安装包上传到了/usr/local/hadoop/

jdk-8u191-linux-x64.tar.gz

hadoop-3.2.0.tar.gz

 

2、安装JDK

(1)将jdk解压

cd /usr/local/hadoop/

tar -zxvf jdk-8u191-linux-x64.tar.gz

mv jdk1.8.0_191 java8

(2)添加以下语句到/etc/profile

export JAVA_HOME=/usr/local/hadoop/java8 这个就是java的解压目录,换个名字而已。

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

(3)生效/etc/profile

source /etc/profile

(4)测试

java -version

 

3、安装hadoop

解压安装包,并且配置环境变量

tar –zxvf hadoop-3.2.0.tar.gz

mv hadoop-3.2.0 hadoop3

将下列语句写入/etc/profile中

export HADOOP_HOME=/usr/local/hadoop/hadoop3

export PATH=$PATH:$HADOOP_HOME/bin

生效

source /etc/profile

测试

hadoop version

 

4、单机模式运行

其实上边就已经将hadoop安装完毕,下边是一个测试的示例,直接使用命令进行数据的分析。

 

创建目录,用于存放配置文件

mkdir input

cp etc/hadoop/*.xml input

 

使用mapreduce的示例包,进行数据分析,将结果输出到outpu中,使用cat查看。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar grep input output 'dfs[a-z.]+'

cat output/*

 

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar

使用此命令可以直接查看mapreduce为我们提供的方法。


1.png


文章评论

0

其他文章