tdc2016sp - trilha bigdata
TRANSCRIPT
Globalcode – Open4education
Trilha – Big Data Hélio Silva
Consultor Sr. Big Data & Analytics
Globalcode – Open4education
PREPARE-SE PARA O DEEP LEARNING
Hélio Silva Sr.Big Data & Analytics Consultant
Globalcode – Open4education
Raw data / sample data
Learning Algorithm
Product of Trained Algorithm
Fitting/Overfitting Validation
Generalization / Production
Prediction / Classification
Ciclo básico de Machine Learning
USER Requests
Ove
rfit
Globalcode – Open4education
Deep Learning em visão de máquina
Fonte: Andrej Karpathy
Globalcode – Open4education
DL Processamento da linguagem natural (NLP) Ironia
A melhor parte do filme: os créditos finais. Sarcasmo
Cara, como cantor você é um grande ponta direita Ambiguidade
Este é meu banco. (Banco pode ser onde sentar ou onde depositar dinheiro)
Gíria Foi mal Que eventualmente significa “desculpe”
Globalcode – Open4education
Neural Networks
Fonte: Joseph Wilk
Globalcode – Open4education
Novas opções para escalar Nuvem (AWS, Azure, IBM) On Premisses? Cluster de CPU ou CPU+GPU ? Qual a combinação mais adequada?
Qual o nível de desacoplamento entre componentes de software e hardware? Há desacoplamento entre aprendizado e produção?
Globalcode – Open4education
Nova visão de escala
Globalcode – Open4education
Frameworks de Deep Learning
Globalcode – Open4education
Cientista de Dados X Arquiteto
Cientista de dados Arquiteto
Consigo usar com R? Será que melhora com Scala ou Java? Gera modelos acurados? Escala horizontalmente? Tem uma boa diversidade de algoritmos?
Qual a latência na resposta ao usuário final?
Tem aquele algoritmo que já uso no R?
A empresa ou comunidade por trás desse framework é forte para manter e evoluir o código a longo prazo ?
? Muita combinação de componentes de várias origens. E se um falhar com upgrade do outro?
? Essa licença de uso ...
Globalcode – Open4education
Algumas características
Framework Linguagens Multi-GPU
TensorFlow Python, C++ Sim
Torch Lua, C, C++ Sim
Caffe C++ Sim
Theano Python Sim
Microsoft CNTK C++, comand line Sim
Dmlc mxnet Python, R, C++, Julia Sim
Chainer Python Sim
Amazon DSSTNE Json Sim
Globalcode – Open4education
Nvidia deep learning SDK
Globalcode – Open4education
Nvidia Digits
Bom para testes com modelos Interface simples por web service Docker Friendly Desacoplamento do Framework de BackEnd (Caffe,Thor, TensorFlow,etc.) Framework escolhido pode ou não ter acesso à GPU
Globalcode – Open4education
Hands on com DIGTIS
Globalcode – Open4education
Globalcode – Open4education
Thank you !!!
http://br.linkedin.com/in/helioss/
Hasta la vista, baby.