prestodbを扱っていてクエリメトリクスを見る上で必ず参照することになるelapsed timeが一体何なのかを調べたメモ。 一言でいうとクエリが作成されてからクエリが完了するまでの時間なんだけど、じゃあそれがいつなのかというのをソースを追う。 全体の流れ…

reizist.hatenablog.com の続き。 EXTERNAL TABLEのLOCATIONにS3を使う場合の設定。 やることは2つ。 S3AFileSystemを使うために2つファイルを編集してパスを通す $HADOOP_CONF_DIR/hadoop-env.sh export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/l…

hadoop & hive on macの環境構築記事結構ちらほらあるんだけど、その通りにやって動かなかったり、信頼に欠けるコメントがついていたりするので改めて自分でまとめる。 hadoop + hive + hive metastore on mysqlを想定してます。 環境 MacOS Sierra 10.12.4 …

TL;DR prestoのクエリログを全て保持したい 簡易に行うならAPI経由で取得できる fluentd-plugin-comparison-filterが使える きちんと環境を準備するなら event-listenerを使う方法がよく、自分のケースでは presto-fluentdを使用してfluentdを経由しデータス…

datadogの設定をterraform formatで出力するgem dd2tfを作った。 github.com kurochan/datadog_monitor2terraformにインスパイアされて勢いで作った。 （尚動機としては、コード管理していない設定、例えばmonitorを管理者が（レビューの範囲外で）手動操作…

MacbookProの不安定さにエンジニアのmac離れが進む昨今、PCの組み立ての1つや2つやっておくべきだろJK（死語）という安直な考えからPCを組み立てるためにパーツ選びをした。 パーツ選びの最中って、楽しいなーーーーーーーーー？ よーしパーツ固まった、今週…

何 よく The node may have crashed or be under too much load. などで PrestoQueryError が発生するのでログを辿ったところ、 GCが頻発している S3 readが時間がかかっている 謎のWARNが発生している ことを発見したのでメモ GCが頻発している 2017-08-18T…

Reproで働き始めてから3ヶ月経った。経ってしまった。 入社してから、ではないのは、始めの2週間はフリーランスとしての契約だったため。正社員としての入社は4/1からなので、社員として2ヶ月半を過ごしたことになる。時間が経つのが早すぎる。 なんで3ヶ月…

昨年12月に2年8ヶ月ほど働いた株式会社イグニスを辞めてからスタートアップの立ち上げ的なことに関わり、様々なことをしましたが、 本当に様々なことがあり（本当に）、様々な事情により、転職活動を終えました。スタートアップは大変ですね。楽しいですよ。…

www.kickstarter.com kickstarter経由で購入したMacBook Pro 2016用のusb-cハブ、 HyperDrive: Thunderbolt 3 USB-C Hub for 2016 MacBook Pro のレビューです。 仕様 外観 去年買ったものがやっと届いた pic.twitter.com/pZsmtITlZu— 夜ご飯 (@reizist) 201…

1週間くらい前に深夜のテンションで作ったgem HatenaBlogScraper(HBS)を公開してました。 GitHub - reizist/hatena_blog_scraper まぁ何をするものかというとhatena blogの記事をスクレイピングしますよってだけのgemです。 [1] pry(main)> require 'hatena_…

前職でソシャゲ開発/運用をしていた関係でちょろちょろ触る程度のなんちゃってDBA/インフラーなのでそこまで深い知識は持っていないけど、 最低限時代についていく必要はあるので読んだ。 なんか間違ってること僕が書いてたら教えてください。 目次 MySQLの…

philipsの43インチ/4Kディスプレイ BDM4350UC/11 を65000円くらいで買った。 買ったのはこれ Philips 43型ワイド液晶ディスプレイ (4K対応/IPSパネル/5年間フル保証) BDM4350UC/11出版社/メーカー: Philips(フィリップス)発売日: 2016/04/15メディア: Person…

結構前なんだけど備忘録として。 NAS環境を整えた。 NASとは NAS（Network Attached Storage）。ネットワーク上にストレージがあってネット経由でアクセスできる。 物 【NASキット】Synology DiskStation DS216j デュアルコアCPU 2ベイNASキット DTCP-IP対応…

こんにちは。 漫画「めしにしましょう」が好きすぎて、 著者である小林銅蟲先生のブログ negineesan.hatenablog.com を漁り読む日々を過ごしています。 「小林銅蟲先生っぽい」文章が面白くて文体を真似るファンが続出しているのを観測しており、人気の高さ…

12月にMacbook Pro 2016(Lately) が届いて以降、今までの環境を抹消しゼロから環境構築を始めた。 2ヶ月ほど経ったのでそろそろ環境に慣れ/落ち着いてきたのでメモ程度にまとめようと思う。 基本思想としては、「なるべくシンプル且つモダンな方に寄せる」で…

amazon echo dotがやってきたので試した。 何者なのかは www.gizmodo.jp とか www.amazon.com とかを見るとわかる。 一言で表すと凄い音声認識技術付きIoTbluetoothスピーカーという感じで、 「Hey Alexa, play today"s hit on Pandora」と言って音楽を再生…

macbookpro2016が届いてmacbook airが不要になってしまったので、売ろうとも思ったけど大した価格にもならないだろうし、おもちゃにしてみる。 手順はqiitaの記事そのまま行うので都度参照する。 デュアルブートするにはHDDのパーティション等の設定も手動で…