Reacutevolution dans lanalytique et les entrepocircts de

donneacutees agrave deacutecouvrir avec Intel [PAR217]

Stanislas Odinot

Consultant technique

Intel Corporation

Serveurs Entreprise Reacuteseaux IT

wwwintelcom

INFORMATION IN THIS DOCUMENT IS PROVIDED IN CONNECTION WITH INTEL PRODUCTS NO LICENSE EXPRESS OR IMPLIED BY ESTOPPEL OR OTHERWISE TO ANY INTELLECTUAL PROPERTY RIGHTS IS GRANTED BY THIS DOCUMENT EXCEPT AS PROVIDED IN INTELS TERMS AND CONDITIONS OF SALE FOR SUCH PRODUCTS INTEL ASSUMES NO LIABILITY WHATSOEVER AND INTEL DISCLAIMS ANY EXPRESS OR IMPLIED WARRANTY RELATING TO SALE ANDOR USE OF INTEL PRODUCTS INCLUDING LIABILITY OR WARRANTIES RELATING TO FITNESS FOR A PARTICULAR PURPOSE MERCHANTABILITY OR INFRINGEMENT OF ANY PATENT COPYRIGHT OR OTHER INTELLECTUAL PROPERTY RIGHT UNLESS OTHERWISE AGREED IN WRITING BY INTEL THE INTEL PRODUCTS ARE NOT DESIGNED NOR INTENDED FOR ANY APPLICATION IN WHICH THE FAILURE OF THE INTEL PRODUCT COULD CREATE A SITUATION WHERE PERSONAL INJURY OR DEATH MAY OCCUR Intel may make changes to specifications and product descriptions at any time without notice Designers must not rely on the absence or characteristics of any features or instructions marked reserved or undefined Intel reserves these for future definition and shall have no responsibility whatsoever for conflicts or incompatibilities arising from future changes to them The information here is subject to change without notice Do not finalize a design with this information The products described in this document may contain design defects or errors known as errata which may cause the product to deviate from published specifications Current characterized errata are available on request All products computer systems dates and figures specified are preliminary based on current expectations and are subject to change without notice Contact your local Intel sales office or your distributor to obtain the latest specifications and before placing your product order Copyright copy 2013 Intel Corporation All rights reserved

Other names and brands may be claimed as the property of others

Mentions leacutegales

2015+ Deacuteluge de donneacutees

gt1000 ExaOctets De trafic sur internet

180 nm (1999)

90 nm (2003)

45 nm (2007)

22 nm (2011)

(1998)

(2004)

(2005)

(2006)

(2009) Plus de terminaux

gt15 Milliards De terminaux

connecteacutes

25M ordinateurs Connecteacutes en IP

En 1994

Plus drsquoutilisateurs

+1 Milliard De Netcitoyens

Evolution du traitement des donneacutees en entreprise

Secteur des teacuteleacutecommunications Exemple de China Mobile

Guangdong Objectif Donner en temps reacuteel aux clients lrsquohistorique de leurs communications

teacuteleacutephoniques

Solution Hadoop pour limiter un goulet drsquoeacutetranglement drsquoaccegraves aux donneacutees

(vs SGBDR) augmenter la capaciteacute de stockage et rendre le tout eacutevolutif

Gains TCO bien moins eacuteleveacute performances 30x supeacuterieures

transition souple capaciteacute analytique suppleacutementaires deacutedieacute

aux usages de abonneacutes pour de la publiciteacute cibleacutee

Quelques donneacutees

bull 30 To de donneacutees de facturation traiteacutes par mois

bull Reacutecupeacuteration en temps reacuteel de 6 mois drsquohistorique de

communication

bull 300k enregistrementssec 800k insertionsec

bull 15 requecirctes analytiques (lieacutees agrave qualiteacute de service facturation

marketing estimation des revenus et satisfaction client)

bull 133 serveurs (nœuds)

Secteur publique transport

Exemple avec Chongqing

Serveur

drsquoapplication

Collecte reacutegionale de donneacutees

Traitement reacuteparti sur plusieurs nœuds du quartier

Deacuteriveacute Analytique Services

Preacutevention drsquoinfractions Service drsquoinfo trafic

Objectif Analyse du trafic afin de tirer des statistiques deacuteriveacutees

des infractions mise agrave disposition des informations et analyse

preacutedictive du trafic routier

Solution Client HBase embarqueacute dans une cameacutera pour des

insertions de donneacutees structureacutees et non-structureacutees en temps

reacuteel

Gains

bull Requecirctes automatiseacutees pour les infractions de circulation

bull Data mining pour les faux permis moins drsquo1 minute pour

toutes les donneacutees sur une semaine

bull Ameacutelioration du trafic routier de 25

Quelques donneacutees

bull + de 30000 points de collecte de donneacutees issues des

cameras

bull Po de donneacutes lieacutees au trafic routier et plusieurs To drsquoimages

bull 2 milliards drsquoentreacutees dans HBase

Secteur de lrsquoeacutenergie Exemple avec EDF RampD Objectif du POC Construire un laquo entrepocirct de donneacutees

opeacuterationnel raquo capable drsquoingeacuterer des donneacutees et

autorisant la reacutealisations de requecirctes multiples et

simultaneacutees sur de multiples courbes de consommation

Solution Hadoop avec Hive pour les requecirctes HBase la

base de donneacutee Sqoop (requecircter le SGBD) HDFS pour le

stockage et utilisation drsquoun geacuteneacuterateur de courbes

CurboGencopy (NodeJS Redis)

Quelques donneacutees

bull 1 mesure toutes les 10 minutes pour 35 millions de clients par an -gt 1 800

milliards drsquoenregistrements = 120 To de donneacutees non compresseacutees

bull POC 25 Go jours

bull 20 nœuds 132 To fonctionnant avec HadoopCloudera

bull Les outils Cloudera Hive HBase HDFS Sqoop NodeJS Redis Tableau Software

bull Sources httpwwwslidesharenetHadoop_Summitproof-of-concent-with-hadoop

bull httpwwwyoutubecomwatchv=mjzblMBvt3Q

INFORMATION IN THIS DOCUMENT IS PROVIDED IN CONNECTION WITH INTEL PRODUCTS NO LICENSE EXPRESS OR IMPLIED BY ESTOPPEL OR OTHERWISE TO ANY INTELLECTUAL PROPERTY RIGHTS IS GRANTED BY THIS DOCUMENT EXCEPT AS PROVIDED IN INTELS TERMS AND CONDITIONS OF SALE FOR SUCH PRODUCTS INTEL ASSUMES NO LIABILITY WHATSOEVER AND INTEL DISCLAIMS ANY EXPRESS OR IMPLIED WARRANTY RELATING TO SALE ANDOR USE OF INTEL PRODUCTS INCLUDING LIABILITY OR WARRANTIES RELATING TO FITNESS FOR A PARTICULAR PURPOSE MERCHANTABILITY OR INFRINGEMENT OF ANY PATENT COPYRIGHT OR OTHER INTELLECTUAL PROPERTY RIGHT UNLESS OTHERWISE AGREED IN WRITING BY INTEL THE INTEL PRODUCTS ARE NOT DESIGNED NOR INTENDED FOR ANY APPLICATION IN WHICH THE FAILURE OF THE INTEL PRODUCT COULD CREATE A SITUATION WHERE PERSONAL INJURY OR DEATH MAY OCCUR Intel may make changes to specifications and product descriptions at any time without notice Designers must not rely on the absence or characteristics of any features or instructions marked reserved or undefined Intel reserves these for future definition and shall have no responsibility whatsoever for conflicts or incompatibilities arising from future changes to them The information here is subject to change without notice Do not finalize a design with this information The products described in this document may contain design defects or errors known as errata which may cause the product to deviate from published specifications Current characterized errata are available on request All products computer systems dates and figures specified are preliminary based on current expectations and are subject to change without notice Contact your local Intel sales office or your distributor to obtain the latest specifications and before placing your product order Copyright copy 2013 Intel Corporation All rights reserved

Other names and brands may be claimed as the property of others

Mentions leacutegales

2015+ Deacuteluge de donneacutees

gt1000 ExaOctets De trafic sur internet

180 nm (1999)

90 nm (2003)

45 nm (2007)

22 nm (2011)

(1998)

(2004)

(2005)

(2006)

(2009) Plus de terminaux

gt15 Milliards De terminaux

connecteacutes

25M ordinateurs Connecteacutes en IP

En 1994

Plus drsquoutilisateurs

+1 Milliard De Netcitoyens

Evolution du traitement des donneacutees en entreprise

Secteur des teacuteleacutecommunications Exemple de China Mobile

Guangdong Objectif Donner en temps reacuteel aux clients lrsquohistorique de leurs communications

teacuteleacutephoniques

Solution Hadoop pour limiter un goulet drsquoeacutetranglement drsquoaccegraves aux donneacutees

(vs SGBDR) augmenter la capaciteacute de stockage et rendre le tout eacutevolutif

Gains TCO bien moins eacuteleveacute performances 30x supeacuterieures

transition souple capaciteacute analytique suppleacutementaires deacutedieacute

aux usages de abonneacutes pour de la publiciteacute cibleacutee

Quelques donneacutees

bull 30 To de donneacutees de facturation traiteacutes par mois

bull Reacutecupeacuteration en temps reacuteel de 6 mois drsquohistorique de

communication

bull 300k enregistrementssec 800k insertionsec

bull 15 requecirctes analytiques (lieacutees agrave qualiteacute de service facturation

marketing estimation des revenus et satisfaction client)

bull 133 serveurs (nœuds)

Secteur publique transport

Exemple avec Chongqing

Serveur

drsquoapplication

Collecte reacutegionale de donneacutees

Traitement reacuteparti sur plusieurs nœuds du quartier

Deacuteriveacute Analytique Services

Preacutevention drsquoinfractions Service drsquoinfo trafic

Objectif Analyse du trafic afin de tirer des statistiques deacuteriveacutees

des infractions mise agrave disposition des informations et analyse

preacutedictive du trafic routier

Solution Client HBase embarqueacute dans une cameacutera pour des

insertions de donneacutees structureacutees et non-structureacutees en temps

reacuteel

Gains

bull Requecirctes automatiseacutees pour les infractions de circulation

bull Data mining pour les faux permis moins drsquo1 minute pour

toutes les donneacutees sur une semaine

bull Ameacutelioration du trafic routier de 25

Quelques donneacutees

bull + de 30000 points de collecte de donneacutees issues des

cameras

bull Po de donneacutes lieacutees au trafic routier et plusieurs To drsquoimages

bull 2 milliards drsquoentreacutees dans HBase

Secteur de lrsquoeacutenergie Exemple avec EDF RampD Objectif du POC Construire un laquo entrepocirct de donneacutees

opeacuterationnel raquo capable drsquoingeacuterer des donneacutees et

autorisant la reacutealisations de requecirctes multiples et

simultaneacutees sur de multiples courbes de consommation

Solution Hadoop avec Hive pour les requecirctes HBase la

base de donneacutee Sqoop (requecircter le SGBD) HDFS pour le

stockage et utilisation drsquoun geacuteneacuterateur de courbes

CurboGencopy (NodeJS Redis)

Quelques donneacutees

bull 1 mesure toutes les 10 minutes pour 35 millions de clients par an -gt 1 800

milliards drsquoenregistrements = 120 To de donneacutees non compresseacutees

bull POC 25 Go jours

bull 20 nœuds 132 To fonctionnant avec HadoopCloudera

bull Les outils Cloudera Hive HBase HDFS Sqoop NodeJS Redis Tableau Software

bull Sources httpwwwslidesharenetHadoop_Summitproof-of-concent-with-hadoop

bull httpwwwyoutubecomwatchv=mjzblMBvt3Q

2015+ Deacuteluge de donneacutees

gt1000 ExaOctets De trafic sur internet

180 nm (1999)

90 nm (2003)

45 nm (2007)

22 nm (2011)

(1998)

(2004)

(2005)

(2006)

(2009) Plus de terminaux

gt15 Milliards De terminaux

connecteacutes

25M ordinateurs Connecteacutes en IP

En 1994

Plus drsquoutilisateurs

+1 Milliard De Netcitoyens

Evolution du traitement des donneacutees en entreprise

Secteur des teacuteleacutecommunications Exemple de China Mobile

Guangdong Objectif Donner en temps reacuteel aux clients lrsquohistorique de leurs communications

teacuteleacutephoniques

Solution Hadoop pour limiter un goulet drsquoeacutetranglement drsquoaccegraves aux donneacutees

(vs SGBDR) augmenter la capaciteacute de stockage et rendre le tout eacutevolutif

Gains TCO bien moins eacuteleveacute performances 30x supeacuterieures

transition souple capaciteacute analytique suppleacutementaires deacutedieacute

aux usages de abonneacutes pour de la publiciteacute cibleacutee

Quelques donneacutees

bull 30 To de donneacutees de facturation traiteacutes par mois

bull Reacutecupeacuteration en temps reacuteel de 6 mois drsquohistorique de

communication

bull 300k enregistrementssec 800k insertionsec

bull 15 requecirctes analytiques (lieacutees agrave qualiteacute de service facturation

marketing estimation des revenus et satisfaction client)

bull 133 serveurs (nœuds)

Secteur publique transport

Exemple avec Chongqing

Serveur

drsquoapplication

Collecte reacutegionale de donneacutees

Traitement reacuteparti sur plusieurs nœuds du quartier

Deacuteriveacute Analytique Services

Preacutevention drsquoinfractions Service drsquoinfo trafic

Objectif Analyse du trafic afin de tirer des statistiques deacuteriveacutees

des infractions mise agrave disposition des informations et analyse

preacutedictive du trafic routier

Solution Client HBase embarqueacute dans une cameacutera pour des

insertions de donneacutees structureacutees et non-structureacutees en temps

reacuteel

Gains

bull Requecirctes automatiseacutees pour les infractions de circulation

bull Data mining pour les faux permis moins drsquo1 minute pour

toutes les donneacutees sur une semaine

bull Ameacutelioration du trafic routier de 25

Quelques donneacutees

bull + de 30000 points de collecte de donneacutees issues des

cameras

bull Po de donneacutes lieacutees au trafic routier et plusieurs To drsquoimages

bull 2 milliards drsquoentreacutees dans HBase

Secteur de lrsquoeacutenergie Exemple avec EDF RampD Objectif du POC Construire un laquo entrepocirct de donneacutees

opeacuterationnel raquo capable drsquoingeacuterer des donneacutees et

autorisant la reacutealisations de requecirctes multiples et

simultaneacutees sur de multiples courbes de consommation

Solution Hadoop avec Hive pour les requecirctes HBase la

base de donneacutee Sqoop (requecircter le SGBD) HDFS pour le

stockage et utilisation drsquoun geacuteneacuterateur de courbes

CurboGencopy (NodeJS Redis)

Quelques donneacutees

bull 1 mesure toutes les 10 minutes pour 35 millions de clients par an -gt 1 800

milliards drsquoenregistrements = 120 To de donneacutees non compresseacutees

bull POC 25 Go jours

bull 20 nœuds 132 To fonctionnant avec HadoopCloudera

bull Les outils Cloudera Hive HBase HDFS Sqoop NodeJS Redis Tableau Software

bull Sources httpwwwslidesharenetHadoop_Summitproof-of-concent-with-hadoop

bull httpwwwyoutubecomwatchv=mjzblMBvt3Q

Evolution du traitement des donneacutees en entreprise

Secteur des teacuteleacutecommunications Exemple de China Mobile

Guangdong Objectif Donner en temps reacuteel aux clients lrsquohistorique de leurs communications

teacuteleacutephoniques

Solution Hadoop pour limiter un goulet drsquoeacutetranglement drsquoaccegraves aux donneacutees

(vs SGBDR) augmenter la capaciteacute de stockage et rendre le tout eacutevolutif

Gains TCO bien moins eacuteleveacute performances 30x supeacuterieures

transition souple capaciteacute analytique suppleacutementaires deacutedieacute

aux usages de abonneacutes pour de la publiciteacute cibleacutee

Quelques donneacutees

bull 30 To de donneacutees de facturation traiteacutes par mois

bull Reacutecupeacuteration en temps reacuteel de 6 mois drsquohistorique de

communication

bull 300k enregistrementssec 800k insertionsec

bull 15 requecirctes analytiques (lieacutees agrave qualiteacute de service facturation

marketing estimation des revenus et satisfaction client)

bull 133 serveurs (nœuds)

Secteur publique transport

Exemple avec Chongqing

Serveur

drsquoapplication

Collecte reacutegionale de donneacutees

Traitement reacuteparti sur plusieurs nœuds du quartier

Deacuteriveacute Analytique Services

Preacutevention drsquoinfractions Service drsquoinfo trafic

Objectif Analyse du trafic afin de tirer des statistiques deacuteriveacutees

des infractions mise agrave disposition des informations et analyse

preacutedictive du trafic routier

Solution Client HBase embarqueacute dans une cameacutera pour des

insertions de donneacutees structureacutees et non-structureacutees en temps

reacuteel

Gains

bull Requecirctes automatiseacutees pour les infractions de circulation

bull Data mining pour les faux permis moins drsquo1 minute pour

toutes les donneacutees sur une semaine

bull Ameacutelioration du trafic routier de 25

Quelques donneacutees

bull + de 30000 points de collecte de donneacutees issues des

cameras

bull Po de donneacutes lieacutees au trafic routier et plusieurs To drsquoimages

bull 2 milliards drsquoentreacutees dans HBase

Secteur de lrsquoeacutenergie Exemple avec EDF RampD Objectif du POC Construire un laquo entrepocirct de donneacutees

opeacuterationnel raquo capable drsquoingeacuterer des donneacutees et

autorisant la reacutealisations de requecirctes multiples et

simultaneacutees sur de multiples courbes de consommation

Solution Hadoop avec Hive pour les requecirctes HBase la

base de donneacutee Sqoop (requecircter le SGBD) HDFS pour le

stockage et utilisation drsquoun geacuteneacuterateur de courbes

CurboGencopy (NodeJS Redis)

Quelques donneacutees

bull 1 mesure toutes les 10 minutes pour 35 millions de clients par an -gt 1 800

milliards drsquoenregistrements = 120 To de donneacutees non compresseacutees

bull POC 25 Go jours

bull 20 nœuds 132 To fonctionnant avec HadoopCloudera

bull Les outils Cloudera Hive HBase HDFS Sqoop NodeJS Redis Tableau Software

bull Sources httpwwwslidesharenetHadoop_Summitproof-of-concent-with-hadoop

bull httpwwwyoutubecomwatchv=mjzblMBvt3Q

Secteur des teacuteleacutecommunications Exemple de China Mobile

Guangdong Objectif Donner en temps reacuteel aux clients lrsquohistorique de leurs communications

teacuteleacutephoniques

Solution Hadoop pour limiter un goulet drsquoeacutetranglement drsquoaccegraves aux donneacutees

(vs SGBDR) augmenter la capaciteacute de stockage et rendre le tout eacutevolutif

Gains TCO bien moins eacuteleveacute performances 30x supeacuterieures

transition souple capaciteacute analytique suppleacutementaires deacutedieacute

aux usages de abonneacutes pour de la publiciteacute cibleacutee

Quelques donneacutees

bull 30 To de donneacutees de facturation traiteacutes par mois

bull Reacutecupeacuteration en temps reacuteel de 6 mois drsquohistorique de

communication

bull 300k enregistrementssec 800k insertionsec

bull 15 requecirctes analytiques (lieacutees agrave qualiteacute de service facturation

marketing estimation des revenus et satisfaction client)

bull 133 serveurs (nœuds)

Secteur publique transport

Exemple avec Chongqing

Serveur

drsquoapplication

Collecte reacutegionale de donneacutees

Traitement reacuteparti sur plusieurs nœuds du quartier

Deacuteriveacute Analytique Services

Preacutevention drsquoinfractions Service drsquoinfo trafic

Objectif Analyse du trafic afin de tirer des statistiques deacuteriveacutees

des infractions mise agrave disposition des informations et analyse

preacutedictive du trafic routier

Solution Client HBase embarqueacute dans une cameacutera pour des

insertions de donneacutees structureacutees et non-structureacutees en temps

reacuteel

Gains

bull Requecirctes automatiseacutees pour les infractions de circulation

bull Data mining pour les faux permis moins drsquo1 minute pour

toutes les donneacutees sur une semaine

bull Ameacutelioration du trafic routier de 25

Quelques donneacutees

bull + de 30000 points de collecte de donneacutees issues des

cameras

bull Po de donneacutes lieacutees au trafic routier et plusieurs To drsquoimages

bull 2 milliards drsquoentreacutees dans HBase

Secteur de lrsquoeacutenergie Exemple avec EDF RampD Objectif du POC Construire un laquo entrepocirct de donneacutees

opeacuterationnel raquo capable drsquoingeacuterer des donneacutees et

autorisant la reacutealisations de requecirctes multiples et

simultaneacutees sur de multiples courbes de consommation

Solution Hadoop avec Hive pour les requecirctes HBase la

base de donneacutee Sqoop (requecircter le SGBD) HDFS pour le

stockage et utilisation drsquoun geacuteneacuterateur de courbes

CurboGencopy (NodeJS Redis)

Quelques donneacutees

bull 1 mesure toutes les 10 minutes pour 35 millions de clients par an -gt 1 800

milliards drsquoenregistrements = 120 To de donneacutees non compresseacutees

bull POC 25 Go jours

bull 20 nœuds 132 To fonctionnant avec HadoopCloudera

bull Les outils Cloudera Hive HBase HDFS Sqoop NodeJS Redis Tableau Software

bull Sources httpwwwslidesharenetHadoop_Summitproof-of-concent-with-hadoop

bull httpwwwyoutubecomwatchv=mjzblMBvt3Q

Secteur publique transport

Exemple avec Chongqing

Serveur

drsquoapplication

Collecte reacutegionale de donneacutees

Traitement reacuteparti sur plusieurs nœuds du quartier

Deacuteriveacute Analytique Services

Preacutevention drsquoinfractions Service drsquoinfo trafic

Objectif Analyse du trafic afin de tirer des statistiques deacuteriveacutees

des infractions mise agrave disposition des informations et analyse

preacutedictive du trafic routier

Solution Client HBase embarqueacute dans une cameacutera pour des

insertions de donneacutees structureacutees et non-structureacutees en temps

reacuteel

Gains

bull Requecirctes automatiseacutees pour les infractions de circulation

bull Data mining pour les faux permis moins drsquo1 minute pour

toutes les donneacutees sur une semaine

bull Ameacutelioration du trafic routier de 25

Quelques donneacutees

bull + de 30000 points de collecte de donneacutees issues des

cameras

bull Po de donneacutes lieacutees au trafic routier et plusieurs To drsquoimages

bull 2 milliards drsquoentreacutees dans HBase

Secteur de lrsquoeacutenergie Exemple avec EDF RampD Objectif du POC Construire un laquo entrepocirct de donneacutees

opeacuterationnel raquo capable drsquoingeacuterer des donneacutees et

autorisant la reacutealisations de requecirctes multiples et

simultaneacutees sur de multiples courbes de consommation

Solution Hadoop avec Hive pour les requecirctes HBase la

base de donneacutee Sqoop (requecircter le SGBD) HDFS pour le

stockage et utilisation drsquoun geacuteneacuterateur de courbes

CurboGencopy (NodeJS Redis)

Quelques donneacutees

bull 1 mesure toutes les 10 minutes pour 35 millions de clients par an -gt 1 800

milliards drsquoenregistrements = 120 To de donneacutees non compresseacutees

bull POC 25 Go jours

bull 20 nœuds 132 To fonctionnant avec HadoopCloudera

bull Les outils Cloudera Hive HBase HDFS Sqoop NodeJS Redis Tableau Software

bull Sources httpwwwslidesharenetHadoop_Summitproof-of-concent-with-hadoop

bull httpwwwyoutubecomwatchv=mjzblMBvt3Q

Secteur de lrsquoeacutenergie Exemple avec EDF RampD Objectif du POC Construire un laquo entrepocirct de donneacutees

opeacuterationnel raquo capable drsquoingeacuterer des donneacutees et

autorisant la reacutealisations de requecirctes multiples et

simultaneacutees sur de multiples courbes de consommation

Solution Hadoop avec Hive pour les requecirctes HBase la

base de donneacutee Sqoop (requecircter le SGBD) HDFS pour le

stockage et utilisation drsquoun geacuteneacuterateur de courbes

CurboGencopy (NodeJS Redis)

Quelques donneacutees

bull 1 mesure toutes les 10 minutes pour 35 millions de clients par an -gt 1 800

milliards drsquoenregistrements = 120 To de donneacutees non compresseacutees

bull POC 25 Go jours

bull 20 nœuds 132 To fonctionnant avec HadoopCloudera

bull Les outils Cloudera Hive HBase HDFS Sqoop NodeJS Redis Tableau Software

bull Sources httpwwwslidesharenetHadoop_Summitproof-of-concent-with-hadoop

bull httpwwwyoutubecomwatchv=mjzblMBvt3Q

Secteur industriel Exemple drsquoIntel Corporation [ITIntel]

C =

A amp B

Objectif Ameacuteliorer les tests et validation des microprocesseurs tout en reacuteduisant

le temps requis

Solution Utilisation des informations historiques des tests deacutebugge et validation

afin de diminuer leur nombre et gagner sur temps

Gains Un premier POC a permit drsquoeacuteconomiser 3 millions de $ en 2012 et lrsquoon estime

possible drsquoeacuteconomiser jusqursquoagrave 30 millions de $ entre 2013 et 2014 Autres POC bull Deacutetection rapide de failles de seacutecuriteacute 200 millions drsquoeacutevegravenements serveur (logs DNS DHCP proxy

VPNhellip) traiteacutes en 30 minutes bull Optimisation des reacuteseaux de ventesdistribution (anticipation des changements des consommateurs

ameacutelioration de la chaicircne drsquoapprovisionnement etc)

Le rocircle drsquoIntel dans le Big Data

Participe au deacuteveloppement et propose des applications et services

optimiseacutes

Collabore activement avec un large eacutecosystegraveme pour faire croitre le

traitement de gros volumes de donneacutees en se concentrant sur les usages et

des architectures de reacutefeacuterence

Acceacutelegravere le traitement et lrsquoanalyse de gros volumes de donneacutees en

procurant des CPU du stockage des IO et du reacuteseau rapides et efficaces

Espace Intel sur github Plusieurs projets en cours

bull httpsgithubcomintel-hadoop

HiBench est une suite de benchmarks pour Hadoop

Projet Panthera

HiTune permet drsquoanalyser les performance drsquoun

cluster Hadoop

9 workload typiques pour hadoop

Micro benchmarks HDFS benchmarks

Web search benchmarks Machine learning benchmarks

Data analytics benchmarks

3 composants majeurs

bull Tracker bull Aggregation Engine bull Analysis Engine

HiTune HiBench

Extensions Hive pour un support ameacutelioreacute des requecirctes SQL

(SQL-92)

Le rocircle drsquoIntel dans le Big Data

Participe au deacuteveloppement et propose des applications et services

optimiseacutes

Collabore activement avec un large eacutecosystegraveme pour faire croitre le

traitement de gros volumes de donneacutees en se concentrant sur les usages et

des architectures de reacutefeacuterence

Acceacutelegravere le traitement et lrsquoanalyse de gros volumes de donneacutees en

procurant des CPU du stockage des IO et du reacuteseau rapides et efficaces

Espace Intel sur github Plusieurs projets en cours

bull httpsgithubcomintel-hadoop

HiBench est une suite de benchmarks pour Hadoop

Projet Panthera

HiTune permet drsquoanalyser les performance drsquoun

cluster Hadoop

9 workload typiques pour hadoop

Micro benchmarks HDFS benchmarks

Web search benchmarks Machine learning benchmarks

Data analytics benchmarks

3 composants majeurs

bull Tracker bull Aggregation Engine bull Analysis Engine

HiTune HiBench

Extensions Hive pour un support ameacutelioreacute des requecirctes SQL

(SQL-92)

Espace Intel sur github Plusieurs projets en cours

bull httpsgithubcomintel-hadoop

HiBench est une suite de benchmarks pour Hadoop

Projet Panthera

HiTune permet drsquoanalyser les performance drsquoun

cluster Hadoop

9 workload typiques pour hadoop

Micro benchmarks HDFS benchmarks

Web search benchmarks Machine learning benchmarks

Data analytics benchmarks

3 composants majeurs

bull Tracker bull Aggregation Engine bull Analysis Engine

HiTune HiBench

Extensions Hive pour un support ameacutelioreacute des requecirctes SQL

(SQL-92)

HiBench Caracteacuterisations des charges applicatives

donneacutees ldquo-rdquo de donneacutees Encore ldquo-rdquo de donneacutees compresseacute

Intel HiTune Utilitaire drsquoanalyse de performance pour Hadoop

bull Les utilisateurs deacuteveloppent leurs applications baseacutees sur le

modegravele MapReduce

bull Le framework Hadoop lrsquoapplique sur le cluster

bull HiTune instrumente automatiquement les tacircches Hadoop (au

niveau binaire) et collecte les informations lieacutees agrave lrsquoexeacutecution

minus Impact faible (inf agrave 2)

minus Pas de modification de code source

minus Nombreuses informations collecteacutees

minus Informations lieacute agrave la JVM

minus Informations systegravemes

minus Reacutecupeacuteration des log Hadoop

HiTune Analyse et geacuteneacuteration de rapports bull Rapport drsquoanalyse HiTune (csv)

minus Meacutetriques systegravemes

minus CPU

minus IO disque

minus IO reacuteseau

minus meacutemoire

minus Meacutetriques Hadoop

minus Meacutetriques du NameNode

minus Meacutetriques du DataNode

minus Meacutetriques du JobTracker

minus Meacutetriques du TaskTracker

minus Meacutetriques de la JVM

minus Stat sur les flux de donneacutees

minus Job MapTasks Reduce Tasks

minus Thread dump pour MapReduce

bull Rapport drsquoanalyse visuel (xlsm)

minus Reacutesumeacute drsquoexeacutecution drsquoun job

minus Comparaison entre multiples jobs

minus Meacutetriques systegravemes

minus Meacutetriques Hadoop

minus Stat sur les flux de donneacutees

Contenu autour drsquoHadoop et du Big Data Architecture de reacutefeacuterence optimisation etc

Getting Started with Hadoop Planning Guide

Hadoop Clusters Built on 10 Gigabit Ethernet

Intel Blog laquo Data Stack raquo

Intelreg Cloud Builders Guide to Apache Hadoop

Mining Big Data in Enterprise for Better Business Intelligence

Intel HiTune Utilitaire drsquoanalyse de performance pour Hadoop

bull Les utilisateurs deacuteveloppent leurs applications baseacutees sur le

modegravele MapReduce

bull Le framework Hadoop lrsquoapplique sur le cluster

bull HiTune instrumente automatiquement les tacircches Hadoop (au

niveau binaire) et collecte les informations lieacutees agrave lrsquoexeacutecution

minus Impact faible (inf agrave 2)

minus Pas de modification de code source

minus Nombreuses informations collecteacutees

minus Informations lieacute agrave la JVM

minus Informations systegravemes

minus Reacutecupeacuteration des log Hadoop

HiTune Analyse et geacuteneacuteration de rapports bull Rapport drsquoanalyse HiTune (csv)

minus Meacutetriques systegravemes

minus CPU

minus IO disque

minus IO reacuteseau

minus meacutemoire

minus Meacutetriques Hadoop

minus Meacutetriques du NameNode

minus Meacutetriques du DataNode

minus Meacutetriques du JobTracker

minus Meacutetriques du TaskTracker

minus Meacutetriques de la JVM

minus Stat sur les flux de donneacutees

minus Job MapTasks Reduce Tasks

minus Thread dump pour MapReduce

bull Rapport drsquoanalyse visuel (xlsm)

minus Reacutesumeacute drsquoexeacutecution drsquoun job

minus Comparaison entre multiples jobs

minus Meacutetriques systegravemes

minus Meacutetriques Hadoop

minus Stat sur les flux de donneacutees

Contenu autour drsquoHadoop et du Big Data Architecture de reacutefeacuterence optimisation etc

Getting Started with Hadoop Planning Guide

Hadoop Clusters Built on 10 Gigabit Ethernet

Intel Blog laquo Data Stack raquo

Intelreg Cloud Builders Guide to Apache Hadoop

Mining Big Data in Enterprise for Better Business Intelligence

HiTune Analyse et geacuteneacuteration de rapports bull Rapport drsquoanalyse HiTune (csv)

minus Meacutetriques systegravemes

minus CPU

minus IO disque

minus IO reacuteseau

minus meacutemoire

minus Meacutetriques Hadoop

minus Meacutetriques du NameNode

minus Meacutetriques du DataNode

minus Meacutetriques du JobTracker

minus Meacutetriques du TaskTracker

minus Meacutetriques de la JVM

minus Stat sur les flux de donneacutees

minus Job MapTasks Reduce Tasks

minus Thread dump pour MapReduce

bull Rapport drsquoanalyse visuel (xlsm)

minus Reacutesumeacute drsquoexeacutecution drsquoun job

minus Comparaison entre multiples jobs

minus Meacutetriques systegravemes

minus Meacutetriques Hadoop

minus Stat sur les flux de donneacutees

Contenu autour drsquoHadoop et du Big Data Architecture de reacutefeacuterence optimisation etc

Getting Started with Hadoop Planning Guide

Hadoop Clusters Built on 10 Gigabit Ethernet

Intel Blog laquo Data Stack raquo

Intelreg Cloud Builders Guide to Apache Hadoop

Mining Big Data in Enterprise for Better Business Intelligence

Contenu autour drsquoHadoop et du Big Data Architecture de reacutefeacuterence optimisation etc

Getting Started with Hadoop Planning Guide

Hadoop Clusters Built on 10 Gigabit Ethernet

Intel Blog laquo Data Stack raquo

Intelreg Cloud Builders Guide to Apache Hadoop

Mining Big Data in Enterprise for Better Business Intelligence

Transactionnel BI Analytique et bases de donneacutees La contribution drsquoIntel

Business Intelligence et Analytique Traitement transactionnel Base de donneacutees Focus sur les Charges appl

Performance Evolutiviteacute Choix Valeur ajouteacutee

Briques Logiciels

SSDs Chipsets LAN CPUs

RAS ROI

2 Socket

Platformes amp Architectures 4 Socket 8 Socket Scalable (8+)

Ecosystegraveme Innovation HW

avec les OEM

OS deacutedieacutes aux applications critiques

Stack applicatives agrave haut niveau de

disponnibiliteacute Silicium

Software

Systegraveme

Scale-up amp Scale-out

Gamme Intel Xeonreg Westmere

EX

Core

SM

I

SM

I

SM

I

SM

I

Xeonreg E7

QPI

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

hellip

QPI

QPI

QPI

QPI

QPI

QPI

x8

Sandy Bridge

Core

DDR3

x4

DDR3

x8

Saltwell

Core

DDR3

E3-1200v2 Atom

E5-2600

E5-2400

Up to 2 CPUs

Up to 24 DIMMs

Up to 80 PCIe lanes

Two QPI links

Up to 2 CPUs

Up to 12 DIMMs

Up to 48 PCIe lanes

One QPI link

E5-4600

Up to 4 CPUs

Up to 48 DIMMs

Up to 160 PCIe3 lanes

Two QPI links per CPU (ring topology)

Sandy Bridge

Core

x8

Sandy Bridge

Core

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

x8 x4 x4

QPI

Sandy Bridge

Core

x8

Sandy Bridge

Core

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

x8 x4 x4

QPI

QPI

Sandy Bridge

Core

x8

Sandy Bridge

Core

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

Sandy Bridge

QPI

QPI

Core

x8

Sandy Bridge

Core

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

QPI

x8

x8

x4

x4

x4

x4

QPI

Hadoop et les bases de donneacutees tirent avantage des SSD

Intel 320 Intel 710 Intel 520

Intel 910 Capaciteacute

Jusqursquoagrave 600 Go 270220 Mos RW

Performances amp

Capaciteacute

SSD 480 Go 550 Mos (en lecture)

520 Mos (en eacutecriture)

Endurance

SSD 300 Go 11 Petaoctet Sur SSD 300 Go (4k) 270210 Mos RW

SSD 800 Go 10 Petaoctet

Sur SSD 800 Go (4k)

2000 Mos (en lecture) 1000 Mos (en eacutecriture)

Performances amp

Endurance

Le 10 GbE proposeacute en standard

Intelreg Ethernet Controller X540

LOM CNANIC Flex LOM

Le premier controcircleur 10GBASE-T eacutelaboreacute agrave la fois pour les cartes

reacuteseaux et lrsquointeacutegration aux cartes megraveres (LOM

Collaboration active avec un large eacutecosystegraveme

Base de donneacutees et infra de calculs Moteurs drsquoanalyses

Relationnel

Non relationnel

VOLTDB

EXALYTICS

Faites votre choix tous sont optimiseacutes dont certains exclusivement sur Xeon

Gamme Intel Xeonreg Westmere

EX

Core

SM

I

SM

I

SM

I

SM

I

Xeonreg E7

QPI

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

Westmere EX

Core

SM

I

SM

I

SM

I

SM

I

hellip

QPI

QPI

QPI

QPI

QPI

QPI

x8

Sandy Bridge

Core

DDR3

x4

DDR3

x8

Saltwell

Core

DDR3

E3-1200v2 Atom

E5-2600

E5-2400

Up to 2 CPUs

Up to 24 DIMMs

Up to 80 PCIe lanes

Two QPI links

Up to 2 CPUs

Up to 12 DIMMs

Up to 48 PCIe lanes

One QPI link

E5-4600

Up to 4 CPUs

Up to 48 DIMMs

Up to 160 PCIe3 lanes

Two QPI links per CPU (ring topology)

Sandy Bridge

Core

x8

Sandy Bridge

Core

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

x8 x4 x4

QPI

Sandy Bridge

Core

x8

Sandy Bridge

Core

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

x8 x4 x4

QPI

QPI

Sandy Bridge

Core

x8

Sandy Bridge

Core

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

Sandy Bridge

QPI

QPI

Core

x8

Sandy Bridge

Core

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

QPI

x8

x8

x4

x4

x4

x4

QPI

Hadoop et les bases de donneacutees tirent avantage des SSD

Intel 320 Intel 710 Intel 520

Intel 910 Capaciteacute

Jusqursquoagrave 600 Go 270220 Mos RW

Performances amp

Capaciteacute

SSD 480 Go 550 Mos (en lecture)

520 Mos (en eacutecriture)

Endurance

SSD 300 Go 11 Petaoctet Sur SSD 300 Go (4k) 270210 Mos RW

SSD 800 Go 10 Petaoctet

Sur SSD 800 Go (4k)

2000 Mos (en lecture) 1000 Mos (en eacutecriture)

Performances amp

Endurance

Le 10 GbE proposeacute en standard

Intelreg Ethernet Controller X540

LOM CNANIC Flex LOM

Le premier controcircleur 10GBASE-T eacutelaboreacute agrave la fois pour les cartes

reacuteseaux et lrsquointeacutegration aux cartes megraveres (LOM

Collaboration active avec un large eacutecosystegraveme

Base de donneacutees et infra de calculs Moteurs drsquoanalyses

Relationnel

Non relationnel

VOLTDB

EXALYTICS

Faites votre choix tous sont optimiseacutes dont certains exclusivement sur Xeon

Hadoop et les bases de donneacutees tirent avantage des SSD

Intel 320 Intel 710 Intel 520

Intel 910 Capaciteacute

Jusqursquoagrave 600 Go 270220 Mos RW

Performances amp

Capaciteacute

SSD 480 Go 550 Mos (en lecture)

520 Mos (en eacutecriture)

Endurance

SSD 300 Go 11 Petaoctet Sur SSD 300 Go (4k) 270210 Mos RW

SSD 800 Go 10 Petaoctet

Sur SSD 800 Go (4k)

2000 Mos (en lecture) 1000 Mos (en eacutecriture)

Performances amp

Endurance

Le 10 GbE proposeacute en standard

Intelreg Ethernet Controller X540

LOM CNANIC Flex LOM

Le premier controcircleur 10GBASE-T eacutelaboreacute agrave la fois pour les cartes

reacuteseaux et lrsquointeacutegration aux cartes megraveres (LOM

Collaboration active avec un large eacutecosystegraveme

Base de donneacutees et infra de calculs Moteurs drsquoanalyses

Relationnel

Non relationnel

VOLTDB

EXALYTICS

Faites votre choix tous sont optimiseacutes dont certains exclusivement sur Xeon

Le 10 GbE proposeacute en standard

Intelreg Ethernet Controller X540

LOM CNANIC Flex LOM

Le premier controcircleur 10GBASE-T eacutelaboreacute agrave la fois pour les cartes

reacuteseaux et lrsquointeacutegration aux cartes megraveres (LOM

Collaboration active avec un large eacutecosystegraveme

Base de donneacutees et infra de calculs Moteurs drsquoanalyses

Relationnel

Non relationnel

VOLTDB

EXALYTICS

Faites votre choix tous sont optimiseacutes dont certains exclusivement sur Xeon

Collaboration active avec un large eacutecosystegraveme

Base de donneacutees et infra de calculs Moteurs drsquoanalyses

Relationnel

Non relationnel

VOLTDB

EXALYTICS

Faites votre choix tous sont optimiseacutes dont certains exclusivement sur Xeon

Conclusion

1

2

3

Les donneacutees sont lagrave et les technologies qui les entourent eacutevoluent rapidement

Intel srsquoest deacutejagrave positionneacute sur la partie applicative et propose des plateformes optimiseacutees

Intel srsquoest engageacute agrave investiguer dans de nouvelles technologies capables drsquoadresser les futurs besoins en terme de traitement de donneacutees