HBaseのTableReducer

2013-09-18T00:00:00+00:00 gradle Hadoop HBase Java

タイトル通り、Hadoop MapReduce上でReducer側から処理したデータをHBaseにぶっこむ為にTableReducerを使う事が出来る。やってみた

HBaseのTableMapper

2013-09-18T00:00:00+00:00 Hadoop HBase Java

前回の逆というか、TableMapperを使ってHBase上のテーブルからデータとってそれを普通のReducerで処理する

という事なので前回のと今回のを合わせれば、「HBaseで取ってHBaseに出力」なんていう事も出来る。というかベースはそれでなっててそれを分割しているにしかすぎないのが今回の件

Hadoop DBInputFormat/DBOutputFormat を使ってみる

2013-09-02T00:00:00+00:00 Database Hadoop Java

今更って感じですが... っていうか元ブログ(自宅用)からの現在のバージョンで動くか確認しつつの転用っていう形

※ちなみに検証したHadoopのバージョンは1.2.1

HDFSにデータをコピるケース

2013-05-17T00:00:00+00:00 Hadoop Java

例えばシステム側で処理したデータをHadoopで処理するためにはデータをうpしないといけなかったりする(InputFormatによる)

でhadoop fs putとか使わずにそれをやるには

WebHDFSを使ってみる

2012-11-22T00:00:00+00:00 Hadoop

WebHDFS Rest APIを使えばHDFS操作をRESTサービスベースでHTTPリクエストをぶん投げる事で出来るようになった模様。ちょっと興味あったので使ってみた

(Hadoopのバージョンは1.0.4です)

HDFS操作メモ

2012-11-21T00:00:00+00:00 Hadoop

ちょいとHDFS操作でてんてこまいになったのでメモ

HadoopとCassandra1.1

2012-09-21T00:00:00+00:00 Cassandra Hadoop Java

何やらorg.apache.cassandra.hadoopサポートなAPIの使い方が変わったようなので、ちょっと色々検証を兼ねてやってみた

MRUnitでHadoop MapReduceのテストを書く

2012-06-28T00:00:00+00:00 Hadoop Java

Hadoop MapReduceのテストを書く方法としてMRUnitっていうのがあるのを以前から知ってて、だけどまったく検証する気配が無いのでやってみた。但し、相変わらずMaven2を使う

Hadoop+Cassandra (3) - Mapper & ReducerでCassandra -

2012-04-08T00:00:00+09:00 Cassandra Hadoop Java

HadoopでCassandraを使ってみるネタシリーズはこれで終わり。1回目と2回目をくっつけて、Cassandraから読み込みCassandraにプッシュしてみる。で、MapperとReducerは1回目で書いたSampleCassandraMapperと2回目で書いたSampleCassandraReducerをそのまま使います。なのでHadoopジョブを投げる側だけを作れば良い

Hadoop+Cassandra (2) - ReducerでCassandra -

2012-04-07T00:00:00+09:00 Cassandra Hadoop Java

前回はCassandraなデータを使うMapperを作って、HDFS上にMapReduce結果を出したので今回はその逆をやってみる。HDFSにインプットデータを用意して、それをMapReduceで処理後CassandraのColumn Familyにプッシュしてみる

Hadoop+Cassandra (1) - MapperでCassandra -

2012-04-06T00:00:00+09:00 Cassandra Hadoop Java

HadoopからCassandraのColumn Familyを読んで云々してみる。とりあえずまったく意味の無いことで書くので、あくまでHadoopからCassandraを使う場合の設定例とか

(基礎的なHadoopのセットアップは省略します)