kinjouj.github.io

HBaseのTableMapper

2013-09-18T00:00:00+00:00 Hadoop HBase Java

前回の逆というか、TableMapperを使ってHBase上のテーブルからデータとってそれを普通のReducerで処理する

という事なので前回のと今回のを合わせれば、「HBaseで取ってHBaseに出力」なんていう事も出来る。というかベースはそれでなっててそれを分割しているにしかすぎないのが今回の件

HDFSにデータをコピるケース

2013-05-17T00:00:00+00:00 Hadoop Java

例えばシステム側で処理したデータをHadoopで処理するためにはデータをうpしないといけなかったりする(InputFormatによる)

でhadoop fs putとか使わずにそれをやるには

WebHDFSを使ってみる

2012-11-22T00:00:00+00:00 Hadoop

WebHDFS Rest APIを使えばHDFS操作をRESTサービスベースでHTTPリクエストをぶん投げる事で出来るようになった模様。ちょっと興味あったので使ってみた

(Hadoopのバージョンは1.0.4です)

Hadoop+Cassandra (3) - Mapper & ReducerでCassandra -

2012-04-08T00:00:00+09:00 Cassandra Hadoop Java

HadoopでCassandraを使ってみるネタシリーズはこれで終わり。1回目と2回目をくっつけて、Cassandraから読み込みCassandraにプッシュしてみる。で、MapperとReducerは1回目で書いたSampleCassandraMapperと2回目で書いたSampleCassandraReducerをそのまま使います。なのでHadoopジョブを投げる側だけを作れば良い