読者です 読者をやめる 読者になる 読者になる

reizist's blog

ウェブ

Amazon Echo Dotが来た

amazon echo dotがやってきたので試した。

f:id:reizist:20170125134944j:plain

何者なのかは

www.gizmodo.jp

とか

www.amazon.com

とかを見るとわかる。

一言で表すと凄い音声認識技術付きIoTbluetoothスピーカーという感じで、

「Hey Alexa, play today"s hit on Pandora」と言って音楽を再生させたり「Wake me at 6 am」と言ってアラームをセットしたり、

amazon dash buttonと同じように 「音声」をスイッチャーとしてAmazon lambdaと連携して好きなイベントを発火させることができる。

もちろん普通のbluetoothスピーカーとしても動作するので、iphonebluetoothで接続しiphoneから音楽を再生することもできる。

音声認識技術の精度が凄くて、英語ならほぼほぼ認識してくれてよしなに何かしてくれる。 予めサービス連携しておくと接続したサービス内の処理をしてくれるので、iphoneがなくても唐突に音楽を聞けるという体験は最高に未来感がある。 amazon iot buttonと同様、設定を行う方法としてはweb or アプリがあるが、 iosアプリは米国appleアカウントが必要なので手間がかかる。

しかしweb dashboardからでも

連携サービスの設定ができたり、 f:id:reizist:20170125224306p:plain

インターネット上に落ちている「能力」を得ることができたり、 f:id:reizist:20170125224310p:plain

音声認識のフィードバックが送れたりと必要十分感がある。

今はオフィスに一台あるのだけど、音声認識の精度が凄く凄いので家にも一台欲しい。

とはいえ日本での入手はまぁまぁ困難で、メルカリに1st gen が転がっていたりするくらいで、

amazon.co.jpでも在庫切れが続いている状態。

完全にスマートハウス化している各位は買うと捗るんじゃないかな。

Coursera MachineLearning -Week1- done

年始早々39.5℃の熱を出して仕事休み気味で厳しい

なんとか駆け込みでweek1を終わらせた。

https://www.coursera.org/learn/machine-learning/home/week/1

機械学習の入門として教師あり学習/教師なし学習のそれぞれの使い所等を説明した概論と、 バッチ勾配降下法を定義するまでに必要な数学的予備知識の説明・復習というところまでがweek1の内容であった。

バッチ勾配降下法が簡潔にまとまっているのでリンク。

postd.cc

ほぼほぼ概論だけではあったが偏微分が出てきてちょっと「ウオッ」と言って身構えてしまう程度には数式が出てきた。 今のところ問題はない。

week2からはおそらくoctaveなどを使ってアルゴリズムの実習をしたりしていくんじゃないかな。 ワクワク。

macbook airにarch linuxを焼いてデュアルブートする

macbookpro2016が届いてmacbook airが不要になってしまったので、売ろうとも思ったけど大した価格にもならないだろうし、おもちゃにしてみる。 手順はqiitaの記事そのまま行うので都度参照する。

デュアルブートするにはHDDのパーティション等の設定も手動で行わなくてはいけないので、まずはsierraをクリーンインストールしHDDの初期化をする。

  • sierraを通常通りインストールし、
  • リカバリモードで起動( ⌘ + R + 電源 ) し、
  • ハードディスクをフォーマットし、
  • sierraの新規インストール

の手順で行う。

手元のPCではインストールに30分かかるようだったので、インストールしている間にmacbookproを使ってarch linuxのUSBローダを作った。

公式サイトより最新のISOを落とし、ddで焼く。

sudo dd if=/Users/reizist/Downloads/archlinux-2017.01.01-dual.iso of=/dev/disk2 bs=1m

なお対象USBは diskutil list で検索し、必要であれば diskutil unmount /Volumes/<name> しておく。

OSのインストールに時間がかかっているので途中。

低音調理器具ANOVA買った

昨今流行っている低温調理を行うベストプラクティスとして知られるANOVA(The Anova Precision Cooker)を買った。 一言で言うと水温をあげつつ撹拌してくれる物体で、今まで低温調理というとヨーグルト作成機や炊飯器を使って逐一温度を確かめる方法が主流で、各々の工夫が試されていた。 2万程度でその手間が解消されるということで、買わない手はないと話題に。

ANOVAには二種類あって、bluetoothだけでスマホ連携するやつ

と、wifiも繋げられる上位互換のやつ

がある。ちなみに2nd gen というのは最新のやつで、ワット数が800W->900Wにあがっているので多少水温を温める能力が上がっている。 とはいえANOVAは「温度調整」にステ振りしてあるので、「温度上昇」はそこまで得意ではない。 自分の場合は温めたい温度-5℃くらいまで普通にコンロで温めてからANOVAを投入し調整をする方法をとればいいかというのと、wifiで接続できることにそこまで魅力を感じなかったのでbluetoothの方を買った。

ちなみに電源部は3Pとなっていて、そのままでも使えると言われているものの電源タップなどの導入が面倒だったので

を買って2Pにして使っている。

ANOVAを買って一回目の調理としては、低温調理の代名詞・ローストビーフをやることにした。 美味しい肉の火の入れ方などはぐぐって調べるとして、一旦寝ている間の動作検証も含めて12Hやってみた。

出来上がりとしては最初はこんなものか、という感じで、手間なく今まで手動で作っていたものと同じかそれ以上の肉が作れた、程度の感情。 多分12hが長すぎたというのと、オーストラリア産の雑な肉作ったのでもう少しいい肉で試したい。 次は鶏ハムかなんか作ろうかなー

引っ越してから最高に作業が捗る

引っ越す前は自分の部屋は無くリビングに座椅子が一つあるのみで開発環境としては底辺だった。

今や一人の部屋でソファーやテーブルがあり開発したい時に開発ができて最高、良い習慣はまず環境から

apache drillが凄い

apache drillというツールが凄いので雑に使ってみました。

一言でいうと Treat your data like a table even when it's not なんですけど、もっというと jsonに対してsql実行できたりします。

公式のインストール方法の通りにできますが、

reizist@reizist ~/apache-drill-1.5.0 $ brew search apache-drill                                                                                                              [2.3.0]
apache-drill

の通りbrew経由でも落とせるみたいですね。

ちょっとサーバーのアクセスログの解析が必要だったんですけど、 気軽にやる方法ないかなーと思って(もっぱら最近はfluentd + kibanaとかBigQueryとかそこらへんが主流ですが)検討した結果、 「ltsv出力してあるnginxログをjsonに変換してapache drillに流す」ことをしてみようと思いました。 awkとか使いこなせる人にはあまり要らないのかな。

まず

gem install ltsv2json
ltsv2json production_access_log.log > production_access_log.json

などとしjsonを生成したあとおもむろにapache drillを起動します

reizist@reizist ~/apache-drill-1.5.0 $ bin/drill-embedded                        [2.3.0]
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0
3 16, 2016 8:36:58 午後 org.glassfish.jersey.server.ApplicationHandler initialize
情報: Initiating Jersey application, version Jersey: 2.8 2014-04-29 01:25:26...
apache drill 1.5.0
"a drill is a terrible thing to waste"
0: jdbc:drill:zk=local> select * from dfs.`/tmp/production_lb_access.json` where uri='/';
+-----------------------------+-----------------+---------------+-------+---------+------+---------+-------+--------------------------+----------------------------------------------------------------------------------------------------------------+----------+--------+-----------+----------+--------------------+
|            time             |      host       | forwardedfor  | user  | method  | uri  | status  | size  |         referer          |                                                       ua                                                       | reqtime  | cache  |  runtime  | apptime  |       vhost        |
+-----------------------------+-----------------+---------------+-------+---------+------+---------+-------+--------------------------+----------------------------------------------------------------------------------------------------------------+----------+--------+-----------+----------+--------------------+
| 14/Mar/2016:05:42:24 +0900  | 111.11.11.111  | -             | -     | GET     | /    | 302     | 96    | -                        | Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36  | 0.110    | -      | 0.107515  | 0.110    |  [censored]  |
| 14/Mar/2016:06:02:17 +0900  | 111.11.11.111   | -             | -     | GET     | /    | 302     | 96    | -                        | Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)                                        | 0.011    | -      | 0.008270  | 0.011    | [censored]  |
| 14/Mar/2016:06:47:02 +0900  | 111.11.11.111  | -             | -     | GET     | /    | 302     | 194   | -                        | Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12F70     | 0.055    | -      | 0.051819  | 0.055    | [censored]    |
+-----------------------------+-----------------+---------------+-------+---------+------+---------+-------+--------------------------+----------------------------------------------------------------------------------------------------------------+----------+--------+-----------+----------+--------------------+

おぉ凄い便利。

例えば実アクセスログから処理時間がかかっているリクエストを調べたい場合は以下のようにできますね。

0: jdbc:drill:zk=local> select * from dfs.`/tmp/production_lb_access.json` order by runtime desc limit 10;
+----------+--------+---------------+------------------+---------+----------+----------+-----------+-------+---------+-----------------------------+----------------------------------------------------------------------------------------------------------------+------------------------+-------+------------------+
| apptime  | cache  | forwardedfor  |       host       | method  | referer  | reqtime  |  runtime  | size  | status  |            time             |                                                       ua                                                       |          uri           | user  |      vhost       |
+----------+--------+---------------+------------------+---------+----------+----------+-----------+-------+---------+-----------------------------+----------------------------------------------------------------------------------------------------------------+------------------------+-------+------------------+
| 9.935    | -      | -             | 111.111.11.11   | POST    | -        | 9.979    | 9.932773  | 5666  | 200     | 14/Mar/2016:05:12:42 +0900  | Dalvik/1.6.0 (Linux; U; Android 4.4.4; 305SH Build/S0114)                                                      | /path/action           | -     | [censored]  |
| 9.914    | -      | -             | 111.111.11.11      | POST    | -        | 9.963    | 9.911458  | 9185  | 200     | 14/Mar/2016:12:34:58 +0900  | Dalvik/1.6.0 (Linux; U; Android 4.4.2; F-01F Build/V10R22A)                                                    | /path/action           | -     | [censored]  |
| 10.472   | -      | -             | 111.111.11.11   | GET     | -        | 10.472   | 9.910428  | 3611  | 200     | 14/Mar/2016:14:14:02 +0900  | Mozilla/5.0 (iPhone; CPU iPhone OS 9_2_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13D15  | /path/action     | -     | [censored]  |
| 9.901    | -      | -             | 111.111.11.11    | POST    | -        | 9.901    | 9.897920  | 8154  | 200     | 14/Mar/2016:14:13:03 +0900  | Dalvik/2.1.0 (Linux; U; Android 5.0.2; SC-05G Build/LRX22G)                                                    | /path/action           | -     | [censored]  |
| 14.933   | -      | -             | 111.111.11.11    | POST    | -        | 14.956   | 9.888321  | 3377  | 200     | 14/Mar/2016:14:39:21 +0900  | Dalvik/1.6.0 (Linux; U; Android 4.4.2; LGV31 Build/KVT49L.LGV3110f)                                            | /path/action           | -     | [censored]  |
| 9.884    | -      | -             | 111.111.11.11  | POST    | -        | 9.884    | 9.881206  | 5225  | 200     | 14/Mar/2016:13:19:43 +0900  | hoge/1.0.10 CFNetwork/758.2.8 Darwin/15.0.0                                                                | /path/action           | -     | [censored]  |
| 9.910    | -      | -             | 111.111.11.11   | POST    | -        | 9.910    | 9.869544  | 4398  | 200     | 14/Mar/2016:03:35:00 +0900  | Dalvik/1.6.0 (Linux; U; Android 4.1.2; SBM203SH Build/S0026)                                                   | /path/action        | -     | [censored]  |
| 10.186   | -      | -             | 111.111.11.11    | POST    | -        | 10.215   | 9.869021  | 4168  | 200     | 14/Mar/2016:03:40:30 +0900  | hoge/1.0.10 CFNetwork/758.2.8 Darwin/15.0.0                                                                | /path/action        | -     | [censored]  |
| 9.862    | -      | -             | 111.111.11.11   | POST    | -        | 9.862    | 9.859476  | 2938  | 200     | 14/Mar/2016:12:30:27 +0900  | Dalvik/2.1.0 (Linux; U; Android 5.1; KYV35 Build/103.0.2e00)                                                   | /path/action  | -     | [censored]  |
| 9.851    | -      | -             | 111.111.11.11      | POST    | -        | 9.871    | 9.847916  | 8592  | 200     | 14/Mar/2016:05:11:59 +0900  | Dalvik/2.1.0 (Linux; U; Android 5.1; KYT31 Build/100.0.1c10)                                                   | /path/action           | -     | [censored]  |
+----------+--------+---------------+------------------+---------+----------+----------+-----------+-------+---------+-----------------------------+----------------------------------------------------------------------------------------------------------------+------------------------+-------+------------------+

ちなみに上記クエリは3GBのjsonファイルに対して実行しかかった時間は 74.361 seconds でした。

上記程度であれば例えばNewRelicのようなものがあればこんなことをせずにすみますが、使い慣れたSQLでさらさらと手元で調べられるのは小回りがきいていいですね。

rails+unicornで特定のサーバーだけ異なる設定でunicornを起動する

production環境においてappサーバーと管理画面を同居させていた場合、unicornやnginxの設定を同一のものにしなくてはいけない制限が生まれてしまう。

今携わっているプロジェクトで、通常のappサーバーでタイムアウトを30秒に設定しているため管理画面から行う特別重い処理がタイムアウトが発生して満足に使えない状況が発生した。

このため管理画面を別サーバーに切り出す対応を行ったが、unicornの設定に少しだけ手こずったのでメモ。

task :set_unicorn_config_path do
  roles(:admin) do |host|
    set :unicorn_config_path, -> { File.join(current_path, "config", "unicorn", "admin.rb") }'
  end
end

before 'unicorn:start', :set_unicorn_config_path

対応内容は上記のみなのだけど、 capistrano3_unicornunicorn.rake における unicorn:start にフックしてproductionのみ set_unicorn_config_path タスクを実行するようにした。 role :admin に指定したインスタンスは、別のunicornの設定ファイルをつかうことができる。

unicorn:restartからもinvokeされるので、結果 deploy:restart からでも実行され、 cap deploy でも cap unicorn:restart でも上記タスクは実行される。助かる。