Hectorを使ってみる (4) - 単体テスト -
hector-testっていうパッケージがあるのですがこれ特になんちゃらTestCaseとかがある訳じゃなくて、あくまでCassandraのサーバーインスタンスを起動できるヘルパークラスがあって、それを使う事でCassandraを使う事ができるみたいな感じな模様
hector-testっていうパッケージがあるのですがこれ特になんちゃらTestCaseとかがある訳じゃなくて、あくまでCassandraのサーバーインスタンスを起動できるヘルパークラスがあって、それを使う事でCassandraを使う事ができるみたいな感じな模様
さらにちょっと進めてみた。やってみる項目として、継承・AnonymousPropertyHandling(ドキュメントではAnonymousPropertyAddHandler)・Listなデータを突っ込んでみる
何やら「CassandraのJMXに接続すればノードとかキースペースとかの情報は取れるよ」っていうのを言われたのでやってみた。Cassandraを起動している状態だと、デフォルトでは7199(cassandra-env.shで変更可能)でJMXポートが開放されている。jconsoleで見ると
という風になっているので、このStorageServiceMBeanなのを取得すれば云々出来る模様
HadoopでCassandraを使ってみるネタシリーズはこれで終わり。1回目と2回目をくっつけて、Cassandraから読み込みCassandraにプッシュしてみる。で、MapperとReducerは1回目で書いたSampleCassandraMapperと2回目で書いたSampleCassandraReducerをそのまま使います。なのでHadoopジョブを投げる側だけを作れば良い
前回はCassandraなデータを使うMapperを作って、HDFS上にMapReduce結果を出したので今回はその逆をやってみる。HDFSにインプットデータを用意して、それをMapReduceで処理後CassandraのColumn Familyにプッシュしてみる
HadoopからCassandraのColumn Familyを読んで云々してみる。とりあえずまったく意味の無いことで書くので、あくまでHadoopからCassandraを使う場合の設定例とか
(基礎的なHadoopのセットアップは省略します)