はじめに 当記事はmeguro.dev#5 で発表したlambdaのソース管理を更に初学者向けに詳細を書いたものです。 AWSアドベントカレンダー 13日目の記事になります。 qiita.com Infrastructure as Code という言葉があるように、資産のコード管理は非常に重要である…

はじめに 締切をしょっぱなから遅れてすみません。 この記事はSREアドベントカレンダー1の2日目 (12/2) の記事となります。 SREという部署/役割がない会社に所属しています @reizist と申します。12/2担当です。 普段はバックエンドを専門的に見ていて、アプ…

golang楽しい golangを勉強している とはいえ面倒は面倒 やはりruby使いとしてはrubyの手軽さはプログラミング初心者に対して間違いなくプログラミングのハードルを下げているし重要な要素だと思った。 例えば文字列中の変数展開をするとか、Array#map とか…

何 SRE Loungeに参加して、改めてSRE本の重要性を感じたのでSRE本読書会を開催します 一人でSRE本読み始める宣言して週に一回業務時間中に読書する時間設けて興味ある人はいつでも参加してくださいみたいな形でやってみようかな #srelounge— わなびー (@reiz…

何 ecsでサービスを動かす場合、大抵の場合は自前イメージをecrに置くことになるんじゃないでしょうか。 ecrには 1000 images/ 1repo というイメージ保有制限が存在し、定期的なクリーンが必要ですが、最近のアップデートでかなり対応しやすくなっていたので…

何 (あまりまともに運用されていない)redashがもともとredash-v0.12.0.b2449 で動いていたが Redash1.0.3で日本語を含むTreasureDataのクエリがエラーになるらしい という報告をもらい対応を検討した結果、容易にアップグレードできそうだったので対応してみ…

prestodbを扱っていてクエリメトリクスを見る上で必ず参照することになるelapsed timeが一体何なのかを調べたメモ。 一言でいうとクエリが作成されてからクエリが完了するまでの時間なんだけど、じゃあそれがいつなのかというのをソースを追う。 全体の流れ…

reizist.hatenablog.com の続き。 EXTERNAL TABLEのLOCATIONにS3を使う場合の設定。 やることは2つ。 S3AFileSystemを使うために2つファイルを編集してパスを通す $HADOOP_CONF_DIR/hadoop-env.sh export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HADOOP_HOME/l…

hadoop & hive on macの環境構築記事結構ちらほらあるんだけど、その通りにやって動かなかったり、信頼に欠けるコメントがついていたりするので改めて自分でまとめる。 hadoop + hive + hive metastore on mysqlを想定してます。 環境 MacOS Sierra 10.12.4 …

TL;DR prestoのクエリログを全て保持したい 簡易に行うならAPI経由で取得できる fluentd-plugin-comparison-filterが使える きちんと環境を準備するなら event-listenerを使う方法がよく、自分のケースでは presto-fluentdを使用してfluentdを経由しデータス…

datadogの設定をterraform formatで出力するgem dd2tfを作った。 github.com kurochan/datadog_monitor2terraformにインスパイアされて勢いで作った。 （尚動機としては、コード管理していない設定、例えばmonitorを管理者が（レビューの範囲外で）手動操作…

MacbookProの不安定さにエンジニアのmac離れが進む昨今、PCの組み立ての1つや2つやっておくべきだろJK（死語）という安直な考えからPCを組み立てるためにパーツ選びをした。 パーツ選びの最中って、楽しいなーーーーーーーーー？ よーしパーツ固まった、今週…

何 よく The node may have crashed or be under too much load. などで PrestoQueryError が発生するのでログを辿ったところ、 GCが頻発している S3 readが時間がかかっている 謎のWARNが発生している ことを発見したのでメモ GCが頻発している 2017-08-18T…

Reproで働き始めてから3ヶ月経った。経ってしまった。 入社してから、ではないのは、始めの2週間はフリーランスとしての契約だったため。正社員としての入社は4/1からなので、社員として2ヶ月半を過ごしたことになる。時間が経つのが早すぎる。 なんで3ヶ月…

昨年12月に2年8ヶ月ほど働いた株式会社イグニスを辞めてからスタートアップの立ち上げ的なことに関わり、様々なことをしましたが、 本当に様々なことがあり（本当に）、様々な事情により、転職活動を終えました。スタートアップは大変ですね。楽しいですよ。…

www.kickstarter.com kickstarter経由で購入したMacBook Pro 2016用のusb-cハブ、 HyperDrive: Thunderbolt 3 USB-C Hub for 2016 MacBook Pro のレビューです。 仕様 外観 去年買ったものがやっと届いた pic.twitter.com/pZsmtITlZu— 夜ご飯 (@reizist) 201…

1週間くらい前に深夜のテンションで作ったgem HatenaBlogScraper(HBS)を公開してました。 GitHub - reizist/hatena_blog_scraper まぁ何をするものかというとhatena blogの記事をスクレイピングしますよってだけのgemです。 [1] pry(main)> require 'hatena_…

前職でソシャゲ開発/運用をしていた関係でちょろちょろ触る程度のなんちゃってDBA/インフラーなのでそこまで深い知識は持っていないけど、 最低限時代についていく必要はあるので読んだ。 なんか間違ってること僕が書いてたら教えてください。 目次 MySQLの…

philipsの43インチ/4Kディスプレイ BDM4350UC/11 を65000円くらいで買った。 買ったのはこれ Philips 43型ワイド液晶ディスプレイ (4K対応/IPSパネル/5年間フル保証) BDM4350UC/11出版社/メーカー: Philips(フィリップス)発売日: 2016/04/15メディア: Person…

結構前なんだけど備忘録として。 NAS環境を整えた。 NASとは NAS（Network Attached Storage）。ネットワーク上にストレージがあってネット経由でアクセスできる。 物 【NASキット】Synology DiskStation DS216j デュアルコアCPU 2ベイNASキット DTCP-IP対応…

こんにちは。 漫画「めしにしましょう」が好きすぎて、 著者である小林銅蟲先生のブログ negineesan.hatenablog.com を漁り読む日々を過ごしています。 「小林銅蟲先生っぽい」文章が面白くて文体を真似るファンが続出しているのを観測しており、人気の高さ…

12月にMacbook Pro 2016(Lately) が届いて以降、今までの環境を抹消しゼロから環境構築を始めた。 2ヶ月ほど経ったのでそろそろ環境に慣れ/落ち着いてきたのでメモ程度にまとめようと思う。 基本思想としては、「なるべくシンプル且つモダンな方に寄せる」で…

amazon echo dotがやってきたので試した。 何者なのかは www.gizmodo.jp とか www.amazon.com とかを見るとわかる。 一言で表すと凄い音声認識技術付きIoTbluetoothスピーカーという感じで、 「Hey Alexa, play today"s hit on Pandora」と言って音楽を再生…

macbookpro2016が届いてmacbook airが不要になってしまったので、売ろうとも思ったけど大した価格にもならないだろうし、おもちゃにしてみる。 手順はqiitaの記事そのまま行うので都度参照する。 デュアルブートするにはHDDのパーティション等の設定も手動で…

昨今流行っている低温調理を行うベストプラクティスとして知られるANOVA(The Anova Precision Cooker)を買った。 一言で言うと水温をあげつつ撹拌してくれる物体で、今まで低温調理というとヨーグルト作成機や炊飯器を使って逐一温度を確かめる方法が主流で…

引っ越す前は自分の部屋は無くリビングに座椅子が一つあるのみで開発環境としては底辺だった。 今や一人の部屋でソファーやテーブルがあり開発したい時に開発ができて最高、良い習慣はまず環境から

apache drillというツールが凄いので雑に使ってみました。 一言でいうと Treat your data like a table even when it's not なんですけど、もっというと jsonに対してsql実行できたりします。 公式のインストール方法の通りにできますが、 reizist@reizist ~…

production環境においてappサーバーと管理画面を同居させていた場合、unicornやnginxの設定を同一のものにしなくてはいけない制限が生まれてしまう。 今携わっているプロジェクトで、通常のappサーバーでタイムアウトを30秒に設定しているため管理画面から行…

www.amazon.co.jp 職場の人にオススメを聞いてこの映画を観た。 残念ながら日本語に疎いので的確な表現が思いつかずにいる。 とりわけ評価するべき点としては、 主演のエディ・レッドメインとフェリシティ・ジョーンズの演技が映画の世界観に入り込むのに最…

何があった my.cnf にて innodb_large_prefix = ON, innodb_file_format = Barracuda であるのに varchar(255) カラムに対する unique index付与時 Specified key was too long; max key length is 767 bytes で怒られる innodb_large_prefix = ON なのに la…