쉼터

'OpenSource'에 해당되는 글 2건

  1. 2008.03.17 hbase 설치 2
  2. 2008.03.03 hadoop 설치

hbase 설치

2008. 3. 17. 21:51 : 공부/opensource
hbase는 Google의 Bigtable의 clone 프로젝트로 진행중에 있고
hadoop의 subproject로 진행중이다.

즉, hbase를 사용할려면 hadoop(0.16.0이상)을 다운 받으면된다.

$HADOOP_HOME/contrib/hbase 에 있다.

일단 $HBASE_HOME/conf/hbase-site.xml을 편집한다.

<configuration>
    <property>
        <name>hbase.master</name>
        <value>localhost:60000</value>
        <description>The host and port that the HBase master runs at.</description>
    </property>
   <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>
        <description>The directory shared by region servers.</description>
    </property>
</configuration>

일단 hbase.master, hbase.rootdir는 기본적으로 설정해줘야한다.

$HBASE_HOME/conf/regionservers 이 파일하고 $HADOOP_HOME/conf/slaves와 동일하게 해준다.

$HBASE_HOME/bin/start-hbase.sh(hbase 시작)
$HBASE_HOME/bin/stop-hbase.sh(hbase 종료)

항상 hadoop을 먼저 띄우고 hbase를 시작해야하고 hbase를 닫고 hadoop을 닫아줘야한다.

http://localhost:60010
정상적으로 hbase가 실행이 된다면 위 페이지가 나올것이다.

참조사이트(http://hadoop.apache.org/hbase/docs/current/api/overview-summary.html#overview_description)
Posted by pchun

hadoop 설치

2008. 3. 3. 23:18 : 공부/opensource
- ssh 설치
ssh를 이용해서 remote hadoop daemons을 관리하기 때문에 필수로 설치되어야한다.

- hadoop 다운로드
http://hadoop.apache.org/core/releases.html

- 압축을 풀고 나서 conf/hadoop-env.sh 파일에 JAVA_HOME 설정

- bin/hadoop 한번 실행

- conf/hadoop-site.xml 편집
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>localhost:9000</value>
  </property>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

- ssh-keygen 실행(localhost도 ssh를 이용하기때문에 설정해야함)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys


- DFS 포맷
bin/hadoop namenode -format


- example(그냥 싱글노드에서 동작)

bin/start-all.sh (hadoop daemon 실행)
bin/hadoop dfs -put conf input (conf 디렉토리에 있는 파일을 DFS에 input이라는 이름으로 copy)
bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' (DFS input에 있는 파일 중에 'dfs[a-z.]+'에 매칭되는 문자열을 output에 저장)
bin/hadoop dfs -get output output  (DFS output에 있는 내용을 output 디렉토리에 저장)
cat outout/* (결과값 확인)
bin/stop-all.sh (hadoop daemon 중지)


참조 사이트(http://hadoop.apache.org/core/docs/current/quickstart.html)
Posted by pchun

티스토리툴바