tdc2016sp - trilha bigdata

16
Globalcode – Open4education Trilha – Big Data Hélio Silva Consultor Sr. Big Data & Analytics

Upload: tdc-globalcode

Post on 20-Mar-2017

103 views

Category:

Education


1 download

TRANSCRIPT

Page 1: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Trilha – Big Data Hélio Silva

Consultor Sr. Big Data & Analytics

Page 2: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

PREPARE-SE PARA O DEEP LEARNING

Hélio Silva Sr.Big Data & Analytics Consultant

Page 3: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Raw data / sample data

Learning Algorithm

Product of Trained Algorithm

Fitting/Overfitting Validation

Generalization / Production

Prediction / Classification

Ciclo básico de Machine Learning

USER Requests

Ove

rfit

Page 4: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Deep Learning em visão de máquina

Fonte: Andrej Karpathy

Page 5: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

DL Processamento da linguagem natural (NLP)   Ironia

 A melhor parte do filme: os créditos finais.  Sarcasmo

 Cara, como cantor você é um grande ponta direita  Ambiguidade

 Este é meu banco. (Banco pode ser onde sentar ou onde depositar dinheiro)

 Gíria  Foi mal Que eventualmente significa “desculpe”

Page 6: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Neural Networks

Fonte: Joseph Wilk

Page 7: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Novas opções para escalar  Nuvem (AWS, Azure, IBM) On Premisses? Cluster de CPU ou CPU+GPU ?  Qual a combinação mais adequada?

 Qual o nível de desacoplamento entre componentes de software e hardware?  Há desacoplamento entre aprendizado e produção?

Page 8: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Nova visão de escala

Page 9: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Frameworks de Deep Learning

Page 10: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Cientista de Dados X Arquiteto

Cientista de dados Arquiteto

Consigo usar com R? Será que melhora com Scala ou Java? Gera modelos acurados? Escala horizontalmente? Tem uma boa diversidade de algoritmos?

Qual a latência na resposta ao usuário final?

Tem aquele algoritmo que já uso no R?

A empresa ou comunidade por trás desse framework é forte para manter e evoluir o código a longo prazo ?

? Muita combinação de componentes de várias origens. E se um falhar com upgrade do outro?

? Essa licença de uso ...

Page 11: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Algumas características

Framework Linguagens Multi-GPU

TensorFlow Python, C++ Sim

Torch Lua, C, C++ Sim

Caffe C++ Sim

Theano Python Sim

Microsoft CNTK C++, comand line Sim

Dmlc mxnet Python, R, C++, Julia Sim

Chainer Python Sim

Amazon DSSTNE Json Sim

Page 12: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Nvidia deep learning SDK

Page 13: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Nvidia Digits

 Bom para testes com modelos   Interface simples por web service Docker Friendly  Desacoplamento do Framework de BackEnd (Caffe,Thor, TensorFlow,etc.) Framework escolhido pode ou não ter acesso à GPU

Page 14: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Hands on com DIGTIS

Page 15: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Page 16: TDC2016SP - Trilha BigData

Globalcode  –  Open4education

Thank you !!!

http://br.linkedin.com/in/helioss/

Hasta la vista, baby.