読者です 読者をやめる 読者になる 読者になる

Hadoopについてメモ書き

Hadoop

ちょっと必要になったのでHadoopについて調べたりしてた。メモ書き。
Welcome to Apache™ Hadoop®!
Hadoopっていくつかのソフトウェアで構成された分散システムの基盤なんすね。

  • HDFS分散ファイルシステム
  • MapReduceが巨大なデータに対して並列処理できるシステム
  • HiveはSQLライクなクエリをHadoop上で実行できるシステム
  • 他にもジョブスケジューラとかノード管理とかいろいろ。
  • 1台のマシンで余裕で処理できるようなデータ量なら、Hiveを使わずにMySQLなどのRDBMSを使ったほうが速いぽい

Ubuntu12.04にインストールする場合は、ClouderaのCDH4を使えば簡単らしい。
https://ccp.cloudera.com/display/CDH4DOC/CDH4+Documentation
HiveよりCloudera Impalaのほうが速いけど、まだまだHiveよりできることが少ないらしい。
Cloudera Impala #pyfes 2012.11.24