测试Hadoop安装及wordcount实例

第二章 测试Hadoop安装

(1)实验目的

测试hadoop的正常安装

(2)实验内容

使用mapreduce中的wordcount程序进行文件的单词统计

(3)实验基础知识

Hadoop相关指令

(5)实验步骤

浏览器地址栏输入http://192.168.237.130:50070/explorer.html#/,进入datanode

在hadoop中新建文件夹,命令如下:

hadoop fs -mkdir -p /test

推送文件1.txt到新建的/test下:

hadoop fs -put 1.txt /test 

执行wordcount并把结果生成在/output下:

hadoop jar /usr/hadoop/hadoop-2.10.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /test/1.txt /output

显示结果:

hadoop fs -cat /output/*

(6)实验结果

分布式文件系统

统计结果

想了解Hadoop配置过程,可以看一下之前这篇文章 [[第一章 hadoop环境搭建]]