re:invent 2016...
TRANSCRIPT
あなたの側で、あなた以上に考える。
re:Inventの振り返りで学ぶAWSを利用したデータ活
用戦略と、サバカン屋の新作缶づめ戦略
1
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ2
あなたの側で、あなた以上に考える。自己紹介
20年程前電子工作少年
N88-BASIC パラレルポート経由でLチカ、ラジコンを動かしたり…
現在
前職:不動産ASPの開発PHPプログラマ+Linuxサーバ管理者+情シス
現職:様々な角度から日々のサーバ管理業務にまつわる
業務効率化、自動化、新規サービス開発に取り組んでおります。
趣味:Raspberry PiでLチカ、R2D2をJuliusで日本語対応させて動かしたり…
株式会社スカイアーチネットワークス
運用自動化責任者 神津 崇士 (こうづ たかし)
tktk19
http://kouzu.info
あなたの側で、あなた以上に考える。
5
普段の業務風景
サーバー購入サーバー構築 サーバー運用
あなたの側で、あなた以上に考える。
6
ラスベガス用のサバ缶つくりました
【オリジナル】サーバー屋のサバ缶
【トレンドマイクロコラボ】サーバーを守る会社のサバ缶
【ラスベガス限定】サーバー屋のラスベガス缶!!
あなたの側で、あなた以上に考える。
7
300缶作りました
あなたの側で、あなた以上に考える。
8
出展しました
あなたの側で、あなた以上に考える。
9
作り過ぎました…
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ10
あなたの側で、あなた以上に考える。
11
社内事例 - パンデミック防止のための温度・湿度 可視化事例
▼ 背景
ここ2,3年
インフルエンザ等パンデミックが起きてしまっている
▼ 対策
1. マスク・手洗いの徹底
2. 湿度が50%を切らないようにする(ウイルスの活動しにくい環境作り)
▼ 実施した事
社内にセンサをばらまき、見える化
あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例
12
年初めに作成したRaspberry Piサイネージ活用
あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例
15秒おきに 8個のセンサから温度・湿度取得TWE-Lite(ZigBee) + Raspberry Pi で送信
→ Dashboardフレームワークで見やすく表示
13
あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例
MongoDBに蓄えられた現時点5009万件の温度・湿度・場所データ
あなたの側で、あなた以上に考える。
15
社内事例 - パンデミック防止のための温度・湿度 可視化事例
パンデミック防止の観点で 残念ながら負け若手を中心に 約10名程のインフルエンザ感染が発生
• 夜間サーバ監視や、コンビニ飯で不摂生している若手エンジニアが多い同じ寮に住んでいても、自炊をしている人は掛かっていない
• 加湿器への水補給が追いつかず、50%以上は維持するのが難しい
→ 加湿器の水切れを大きく通知しなければ注意を引けない
• 場所によって温度が最大で3度程、湿度も30%の違いがあった
→ サーキュレーターの効果的な設置場所を見極める必要がある?
• 作成したシステムパンデミックの起きた事もあり、今後より使われそうなシステムとなったデータ解析ツール立ち上げのためにサーバ構築せねばで大変データ連携には自前でコンバート等せねばならない、、、
→ 予算とってクラウドに置けば良かった
あなたの側で、あなた以上に考える。社内事例 - パンデミック防止のための温度・湿度 可視化事例
16
半年に2台ペースで SDカードが昇天、電源により不安定な事も
→ 安定動作するデバイスが欲しい
Raspberry Pi 2 Model B を利用
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ17
あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例
18
あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例
19
or
• CONPROSYSとは
WebUI上でタスクスクリプティング&モニタリング
• AWSサービスへ接続を弊社で実証
センサ接続
あなたの側で、あなた以上に考える。IoT 概念実証 - 大阪の企業様との実証例
20
SensorTag
モータの振動を検知!
9種類のセンサを内蔵S3
ConprosysPC
LabVIEWCloudberry
カメラ画像
モータ電圧・マイク音量
各種センサ値を可視化して見える化
Raspberry Pi
EC2
PLC
あなたの側で、あなた以上に考える。
21
IoT 概念実証で出てきた課題点
PoCフェイズのため
センサ値取得→UPしたいデータやフォーマットが常に増える・変わるを繰り返す
• このセンサ・機器からのデータを取得してみたい
• 取得出来た!が別機器のほうがサンプリングレートが良いためこちらで実施したい、追加でこちらの機器のデータも取り込みたい
• データアップロード・コンバート形式の新規作成・変更フォルダ構成案、ローテーションの再検討
→ 仕様変更と吐き出されるCSVフォーマットの変更に追従していく必要がある
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ22
あなたの側で、あなた以上に考える。Amazon Athena
23
Amazon Athena の発表
あなたの側で、あなた以上に考える。Amazon Athena
24
Amazon S3 内のデータを SQL を使用して簡単に分析可能に裏では、クエリを並列化して何百、何千コアに分散し数秒で結果が帰る
サーバレスで動作するため、インフラストラクチャ管理コスト無し
あなたの側で、あなた以上に考える。モダンデータアーキテクチャ
25
現在のデータ分析の仕事のうち作業の80% は分析に関係ない作業様々なデータソースからデータを取り出し、データストア先に統合する
には糊のような役割が必要
あなたの側で、あなた以上に考える。AWS Glue
26
AWS Glue の発表
あなたの側で、あなた以上に考える。AWS Glue
27
Step 1. データカタログの構築JSON、CSV、Parquet(パーケイ)など、多くの一般的なデータタイプに対し
て、あらかじめ作成された分類子を使用してデータカタログを構築
あなたの側で、あなた以上に考える。AWS Glue
28
Step 2. データ変換ルールをコードで記載データソースとターゲットを選択すると、AWS GlueはPythonコードを生成してソースからデータを抽出、データを変換行いターゲットにロード
します
あなたの側で、あなた以上に考える。AWS Glue
29
Step 3. スケジュールの作成・実行定期的にトリガに応じて、フローを実行できます。データ量が増えるにつれて実行時間が一定に保たれるように、ジョブの実行を適切な順序で調整し、失敗したジョブを自動的に再試行します。必要なインフラスト
ラクチャをスケーラブルに拡張します。
あなたの側で、あなた以上に考える。Agenda
1. 自己紹介 /会社紹介
2. 弊社IoT/データ活用 事例
1. 社内事例 - パンデミック防止のための温度・湿度 可視化事例
2. IoT 概念実証 - 大阪の企業様との実証例
実証で出てきた課題点
3. re:Inventで発表された新サービスで課題点の解決
モダンデータアーキテクチャ
サーバレスで大量のデータ処理/整形/解析が可能に
Amazon Athena / AWS Glue
4. re:Inventで配布された Amazon Echo Dotで学ぶLambda
5. まとめ30
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
31
参加者全員に配布されました!!
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
32
このデバイスでLambda実行できるプログラムを開発!
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
33
Lambdaとはhttps://aws.amazon.com/jp/lambda/
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
34
Skillという概念で色々な機能を追加出来ます
(iPhoneのアプリのような概念)
※英語Only、国内利用不可
• 音楽を再生する
• SmartHome連携機能の呼び出し
• 天気予報を読み上げる
• ニュースサイトのニュースを読む
…
• 雷の音を再生して
• 猫にまつわるウンチクを教えて
• 私を奮い立たせる名言を教えて
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
35
本日のブログ投稿数を教えてくれるSkillを作成する事に
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
36
Lambda実行時のイベントにAlexa Skills Kitを指定
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
37
詳細は弊社ブログまで!
Amazon Echoの応答
あなたの側で、あなた以上に考える。re:Inventで配布された Amazon Echo Dotで学ぶLambda
38
あなたの側で、あなた以上に考える。まとめ
1. データ分析・変換系の新サービス
データをよりシームレスに繋ぐ事の出来るサービスが次々と出ており、デー
タ分析までに必要な時間が劇的に短縮される
特にS3に上げておくだけでも解析が出来るようになる!
2. 人口知能系の新サービス
AWSのサービスと直結出来るインターフェースを持った
Amazon Echo等の製品で、データさえAWSに上げておけば
様々な処理、結果取得を音声だけで出来る未来はすぐそこにある
3. サーバー管理会社はお客さまにどのようなサービスを提供すべきか
様々なAWSのサービスに精通しつつ、構成案から提案をし
サバ缶だけでなく、Lambdaも缶づめのように提供する必要がある
39
あなたの側で、あなた以上に考える。
40
coming soon…
ご清聴ありがとうございました。