introduction to machine learning with azure
TRANSCRIPT
Machine LearningPresentador: Alan KooModerador: Jose L. RiveraMayo 14, 2015
May 14 – 15, 2015
2015 Microsoft MVP Virtual Conference
acerca de mi
• senior consultant en nagnoi• 15+ años en SQL Server• 10+ años en BI & OLAP• 5 años Microsoft MVP in SQL Server• blog: www.alankoo.com• co-fundador de Puerto Rico PASS• mentor regional de PASS para LATAM
agenda
• conceptos fundamentales de machine learning• Azure Machine Learning• demos
ansiosos por saber el futuro
…yo tengo la resupuesta
…ésta sí que es la respuesta
…la tercera la vencida
…a ver a ver vamos a tomarlo con calma
…crucen los picos para no fallar
…Paul es la solución!
machine learning
data science
• palabra clave: “ciencia”• probar cosas• (podría no | no va)
a funcionar la primera vez
• esto podría funcionar…pregunta
• wikipediainvestigación
• tengo una ideahipótesis
• pruébalaexperimentación
• ¿funcionó?análisis
• tiempo para otra ideaconclusión
machine learning
Rama de la inteligencia artificial cuyo objetivo es desarrollar técnicas que permitan a las computadoras aprender… trata de crear programas capaces de generalizar comportamientos a partir de una información no estructurada suministrada en forma de ejemplos. ..Proceso de inducción del conocimiento.
http://en.wikipedia.org/wiki/Machine_learning
necesito sumar dos números
f(num1, num2)
necesito predecir la rentabilidad de mis
clientes
f(Edad, Estado Civil, Género, Ingreso Anual,Total de Niños, Educación, Ocupación,
Tiene Casa, Distancia Diaria )
pasos para construir una solución de Machine Learning
1definir
problema de
negocio
2recopilar
datos
3desarrollo
de modelos
4publicar modelo
6monitorea
r desempeñ
o del modelo
1definir
Objetivo / Métrica
2extraer
características
derivadas
3seleccionar característi
cas
4preparar el
modelo
5evaluar el modelo
5Integrar
aplicaciones
retos para usar Machine Learning
Tradicional (adivinar, regla de
dedo, prueba y
error)
caro
aislado caos
Complejo
ConsecuenciasPérdida de Oportunidades,
Errores operacionales costosos
Estrategia de cambio
Se dicen muchas cosas
Data Scientist
Nuevos mercados
Alta competencia
Azure Machine Learning
Habilita el análisis predictivo poderoso basado en la nube. Profesionales pueden fácilmente construir, distribuir y compartir soluciones analíticas avanzadas
Azure Machine Learning
• Accesible a través de un navegador web, no require instalar software
• Colaboración con cualquiera en cualquier lugar usando Azure workspace
• Composición visual con Soporte de inicio a fin para flujos de data science
• Los mejores algoritmos de ML
• Extensible, soporte de lenguaje R y Phyton
Azure Machine Learning
Azure Portal
ML Studio
ML API service
equipo de operaciones
profesionales de datos & Data
scientist
desarrolladores de software
Demo [Equipo de operaciones]
Creando un Azure Machine Learning workspace
Flujo de Machine Learning
recopilardatos
Recopilar suficientes volúmenes de datos actuales, limpios y completes es críticoGarbage in Garbage out
Los conjuntos de datos pueden ser de:Fuentes internar: operacionales, data warehouses, etcFuentes externas, formatos distintos
Combinar conjuntos de datos puede enriquecer el proceso Ej. Integrar data external a data interna como el clima, mercados, tasas, etc.
Demo [Professional de datos]
Recopilando datos de calidad
Flujo de Machine Learning
preparardatos
Esfuerzos importantes son requeridos para preparar la data para Machine LearningTransformar a limpiar, reducir o re-formatearAislar y marcar data fuera de lo normalSustituir apropiadamente valores no existentesCategorizar valores continuos en rangosNormalizar valores continuos entre 0 y 1
Por supuesto, tener la data requerida es muy importanteAl diseñar el sistema, considere atributos que podrían ser considerados como entradas en modelos futuros: Ej. Fecha de nacimiento, género, etc.
Flujo de Machine Learning
entrenar modelos
Etapa iterativa, experimentación es requerida para producir un modelo óptimoIncluye:Seleccionar un algoritmoDefinir entradas y salidasOptimización configurando parámetros del algoritmo
Evaluación del modelo es crítico:PrecisiónConfiabilidadUsabilidad
evaluar modelos
Demo [Professional de datos]
Produciendo un experimiento de machine learning
Flujo de Machine Learning
publicar
Primero, agregue un scoring experimentLógica de transformación es reemplazada por recursos de transformación reusableLógica de entrenamiento es reemplazada por un modelo entrenadoSe agregan Web Services de entrada y salidaLas propiedades del módulo pueden ser parametrizadas
Prepare el experimiento para Publique el experimiento como un web servicePublique el experimiento a la galeríaAprenda de otros descubriendo experimientosContribuya y muestre sus experimientos
Demo [Professional de datos]
Preparando y publicando el web service
Flujo de Machine Learning
administrar
Administre los web servicesAgregue y administre los endpointsConfigure el throttle y tracing de los endpoints
Monitoree los web servicesMonitoree las transacciones en el API
Monitoree el uso de los workspacesMonitoree los recursos de cómputoMonitoree el espacio de almacenamiento
Monetice sus web services publicando en el Azure Marketplace
Demo [Professional de datos]
Preparando y publicando el web service
Demo [Operaciones]
Administrando el web service
Flujo de Machine Learning
Integrar
Desarrolle una aplicación que integre funcionalidad predictiva con llamadas al web serviceCada web Service ofrece dos métodos• Request/Response Service (RRS): Poca latencia, web Service
escalable• Batch Execution Service (BES): Alto volumen, scoring
asíncrono de muchos registrosEl servicio puede ser invocado por cualquier lenguaje de programación• Conectividad a internet• Capacidades SSL para solicitudes HTTPS• ODA endpoint y API key• Habilidad para formatear JSON
Demo [Desarrollador de Software]
Integrando resultados predictivos en una aplicación
machine learning está alrededor nuestro
1 1 5 4 3
7 5 3 5 3
5 5 9 0 6
3 5 2 0 0
Training examples Training labels
Clasificador de dígitos de precisión
2
Sistema de machine learning
aplicaciones poderosas
escenarios de negocio
• capturar correo no deseado• ocr (optical character recognition)• procesamiento de lenguaje natural• traducción máquina• biología• medicina• robótica (Sistemas Autónomos)• etc…
qué sigue ahora?
AzureML Marketplace
Azure Data Market ML Applications• http://text-analytics-demo.azurewebsites.net/• https://churn.cloudapp.net• http://how-old.net/#
créditos/referencias
• Presentación de Seth Juarez, TechEd Europe 2014• Presentación de Renato Jovic, Advanced Technology Day
2014• Presentación de Peter Myers, Ignite 2015• Libro: AzureML Essentials, Jeff Barnes, 2015
