Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

HUG France #1 - 15 Mars 2012

Salades, tartes au poulpe et Hadoop

Une expérience d’utilisation d’Hadoop

Yann Schwartz - Kobojo

Yann at polom.com

@abolibibelot

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Kobojo

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Architecture

● 4 jeux● AWS - .Net – Redis● Azure - .Net – MongoDB● Datacenter● SI interne

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Les données

● Tracking utilisateur (actions dans le jeu)● Logs applicatifs

● Données utilisateur : SQL Server● Données des jeux : Redis, MongoDB● Tracking : S3 – Azure storage

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Le tracking

● Emis par les jeux● À chaque action

● Reçus par des serveurs de tracking● Traitement● Nettoyage et décoration● Différents sinks● Suivi temps réel

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Avant

● Données descendues dans un SGBD / cube● Batches la nuit

Mais des problèmes de…●Volume●Localité●Temps de traitement

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Passage à Hadoop

● Elastic Map Reduce« what happens in the cloud stays in the cloud… »

● Pig Latin● Migration de jobs existants et nouveaux jobs

●Statistiques d’usage●Engagement●Comportements d’achats●Calculs sur les graphes sociaux

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Des petits cahots sur la route

● Plate-forme● Version de pig / hadoop sur EMR● Compatibilité cygwin

● Pig● Impedance mismatch● Orchestration● Convaincre les data analysts

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

Pistes considérées

● Cascading / cascalog● Import avec flume

et /ou● Event processing et import avec Storm

Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

HUG France #1 - 15 Mars 2012

Salades, tartes au poulpe et Hadoop

Merci de votre attention

Yann Schwartz - Kobojo

Yann at polom.com

@abolibibelot