[Hadoop] wordcount 실습하기(초간단)

- OS : VMware Ubuntu 18.04
- Hadoop 2.10.0

 

1. 폴더를 만든다

$hdfs dfs -mkdir /input

 

2. wordcount할 파일을 /input에 넣는다.

   (나는 /usr/local/hadoop 에 있는 LICENSE.txt 파일을 이용했다.)

$hdfs dfs -copyFromLocal /usr/local/hadoop/LICENSE.txt /input              (/input으로 이동)

 

3. 잘 들어가있는지 확인

$hdfs dfs -ls /input

LICENSE.txt가 보이면 됨

 

4. wordcount 실행

$hdfs jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount /input/LICENSE.txt /output

  (wordcount 결과를 /output 파일에 넣어줌)

 

5. 확인하기

$hdfs dfs -ls /output

 ( 결과가 2개나옴 - _SUCCESS랑 part-r-0000)

 

6. 열어주기

$hdfs dfs -cat /output/part-r-0000

 

 

 

-끝-

 

**만약에 명령어 hdfs가 안된다면 hadoop으로 바꿔서 실행