Hadoop-MapReduce_Unrepeat

环境:Ubuntu 18.04 LTS,Hadoop-3.1.1,Eclipse,Java 1.8

在此步骤,默认懂得hadoop shell操作以及已完成hadoop的环境搭建。

使用该Java文件的方式:

通过eclipse将该文件导出为jar包,通过eclipse->file->export选择java中的jar选项,选择该class,并做好命名该jar文件名等,最后,通过命令hadoop jar xxx.jar InputfilePath OutputfilePath。命令:hadoop jar mp.jar hdfs://0.0.0.0:9000/demo/test.txt hdfs://0.0.0.0:9000/demo/output/。最后,在/demo/output/中查看,通过命令 hadoop fs -cat /demo/output/part-r-00000查看。

其中xxx.jar即导出的jar给它的命名,InputfilePath即为自己想要被处理的数据集,OutputfilePath即为处理完的结果。注:OuputfilePath必须是一个为空的目录。

我的数据集test.txt:

继续阅读“Hadoop-MapReduce_Unrepeat”

Hadoop-MadReduce_Average

环境:Ubuntu 18.04 LTS,Hadoop-3.1.1,Eclipse,Java 1.8

在此步骤,默认懂得hadoop shell操作以及已完成hadoop的环境搭建。

使用该Java文件的方式:

通过eclipse将该文件导出为jar包,通过eclipse->file->export选择java中的jar选项,选择该class,并做好命名该jar文件名等,最后,通过命令hadoop jar xxx.jar InputfilePath OutputfilePath。命令:hadoop jar mp.jar hdfs://0.0.0.0:9000/demo/test.txt hdfs://0.0.0.0:9000/demo/output/。最后,在/demo/output/中查看,通过命令 hadoop fs -cat /demo/output/part-r-00000查看。

其中xxx.jar即导出的jar给它的命名,InputfilePath即为自己想要被处理的数据集,OutputfilePath即为处理完的结果。注:OuputfilePath必须是一个为空的目录。

我的数据集test.txt:

 

继续阅读“Hadoop-MadReduce_Average”