hadoop 설치

- ssh 설치
ssh를 이용해서 remote hadoop daemons을 관리하기 때문에 필수로 설치되어야한다.

- hadoop 다운로드
http://hadoop.apache.org/core/releases.html

- 압축을 풀고 나서 conf/hadoop-env.sh 파일에 JAVA_HOME 설정

- bin/hadoop 한번 실행

- conf/hadoop-site.xml 편집

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>localhost:9000</value>
  </property>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

- ssh-keygen 실행(localhost도 ssh를 이용하기때문에 설정해야함)

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

- DFS 포맷

bin/hadoop namenode -format

- example(그냥 싱글노드에서 동작)

bin/start-all.sh (hadoop daemon 실행)
bin/hadoop dfs -put conf input (conf 디렉토리에 있는 파일을 DFS에 input이라는 이름으로 copy)
bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' (DFS input에 있는 파일 중에 'dfs[a-z.]+'에 매칭되는 문자열을 output에 저장)
bin/hadoop dfs -get output output  (DFS output에 있는 내용을 output 디렉토리에 저장)
cat outout/* (결과값 확인)
bin/stop-all.sh (hadoop daemon 중지)

참조 사이트(http://hadoop.apache.org/core/docs/current/quickstart.html)