prestodbを扱っていてクエリメトリクスを見る上で必ず参照することになるelapsed timeが一体何なのかを調べたメモ。 一言でいうとクエリが作成されてからクエリが完了するまでの時間なんだけど、じゃあそれがいつなのかというのをソースを追う。 全体の流れ…

reizist.hatenablog.com の続き。 EXTERNAL TABLEのLOCATIONにS3を使う場合の設定。 やることは2つ。 S3AFileSystemを使うために2つファイルを編集してパスを通す $HADOOP_CONF_DIR/hadoop-env.sh export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/l…

hadoop & hive on macの環境構築記事結構ちらほらあるんだけど、その通りにやって動かなかったり、信頼に欠けるコメントがついていたりするので改めて自分でまとめる。 hadoop + hive + hive metastore on mysqlを想定してます。 環境 MacOS Sierra 10.12.4 …

TL;DR prestoのクエリログを全て保持したい 簡易に行うならAPI経由で取得できる fluentd-plugin-comparison-filterが使える きちんと環境を準備するなら event-listenerを使う方法がよく、自分のケースでは presto-fluentdを使用してfluentdを経由しデータス…