big data vs expertos - adrián plattner @adrianplattner
DESCRIPTION
Big Data vs Expertos. En un mundo donde cada vez se produce más información, cómo las instituciones deben recolectar y/o utilizar la información disponible en redes sociales para tomar mejores decisiones que en muchos casos superan a los expertos que llevan años trabajando en una determinada área. Adrián Plattner @adrianplattner Mas informacion: http://www.refreshmaracaibo.orgTRANSCRIPT
Big Data vs Expertos@adrianplattner
¿Qué tienen en común todas las empresas?
Dependen en gran medida en tomar las decisiones correctas
¿Qué decisiones son claves en las empresas?
O ¿Qué riesgos tomar?
O ¿Qué productos hacer?
O ¿Qué clientes abarcar y como
mantenerlos el mayor tiempo posible?
Poder predecir el futuro seria de mucha ayuda
Algunos lo han intentado
Bueno, volvamos a la realidad
Las decisiones que toman las empresas
hoy en día se basan en los conocimientos y
experiencia de expertos en un área
determinada.
Limitaciones de la forma convencional
¿Que otra alternativa tenemos?
¿Que tal dejar que la información hable por nosotros?
Nada nuevo
O Muchas empresas utilizan métodos
estadísticos como apoyo para la toma de
decisiones.
O En la practica la mayoría solo usan
sumatorias y promedios.
Alternativa
Ejemplos
http://commons.wikimedia.org/wiki/File:ElectoralCollege2012.svg
Wallmart
Farecast
Big Data
“Big Data is any data that is expensive to
manage and hard to extract value from.”
Michael Franklin-University of Berkeley
“Big” es relativo
Desafíos de Big Data
O Volumen
O Velocidad
O Variedad
¿Qué datos producen en la actualidad?
O Cada día Google produce 24 petabytes
de datos.
O De la información actual 90% fue
generada en los últimos dos años.
O 32 billones de búsquedas en Twitter el
ultimo mes.
O Mas de dos billones de videos fueron
vistos ayer en Youtube.
Pasos a seguir para una empresa
O Analizar que procesos de tu negocio quieres mejorar.
O Analizar que datos tienes que te pueden servir y cual tienes que recolectar.
O Dividir la información en muestra y prueba.
O Aplicar diferentes modelos de predicción que dependen del problema en base a la muestra.
O Aplicar el modelo resultante en la prueba.
O Volver al segundo paso.
¿Que proceso puedo mejorar en base a los datos?
O Segmentación de Clientes.
O Determinar el precio optimo de un producto.
O La usabilidad de mi pagina web (Clickstream).
O Detección de fraude.
O Determinar el éxito de una campaña o producto en las redes sociales.
O Calcular una oferta académica de una universidad.
Machine Learning
Regresión Linear, Regresión Logística, Redes Neuronales, etc.
Herramientas importantes.
O Map-Reduce(Apache Hadoop).
O SQL(MySQL) y NoSQL(HBase).
O Lenguajes de programación como
Python, R y Java.
O Hojas de calculo(Excel).
O IaaS(AWS).
Personal Necesario
O Estadísticos, Matemáticos o Físicos.
O Ingenieros o licenciados en Computación
o Informática.
O Managers.
O Economistas.
O Data Scientist(El nuevo Web Master).
Análisis de Sentimiento
Analizar la reacción del publico hacia un producto o campaña en las
Redes sociales(Twitter).
Análisis de Sentimiento
O Utilizar el API de Twitter para consultar y/o
almacenar los tweets sobre lo que nos
interesa.
O search.twitter.com/search.json?q=XXX
O Almacenarlos en una bases de datos
orientad a documentos(mongodb).
O Tomar una muestra aleatoria de los
tweets y clasificarlos uno a uno
manualmente.
Análisis de Sentimiento
O P(recomendado|+)=100/1000=0.10
O P(recomendado|-)=1/500=0.002
O P(malo | -)=150/500 = 0.3
O Ejemplo si l tweet es “Hey ayer fui a XX,
altamente recomendado!”
O Aplicando Bayes podemos determinar
que el tweet es positivo.
El Lado Oscuro de Big Data
Conclusión
Gracias (:@adrianplattner