formation professionnelle "big data : concepts et enjeux"
TRANSCRIPT
par Philippe METAYER [email protected] !Directeur Formation Continue et Alternance { Métiers du web et des médias } !Département MMI - Métiers du Multimédia et de l’Internet - IUT Bordeaux Montaigne !www.iut.u-bordeaux-montaigne.fr & www.mmibordeaux.com
Journée de Formation Professionnelle
!
Le « BIG DATA » : concepts et enjeux !!
IUT MMI - Université Bordeaux Montaigne - Vendredi 28 novembre 2014
1
Vous avez dit « Big Data » ?!!!
Qu’est-ce que la data ? Data structurée, Data non structurée…
Démystification du terme « big data » avec les « 5V ».
3
1 - Vous avez dit « Big Data » ?
Contexte : le déluge des donnéesIl est souvent évoqué le terme d’infobésité tant nous sommes sollicités en permanence
par des nouvelles informations, souvent les mêmes répétées sur différents sites et supports que nous consultons.
!Outre ce phénomène, nous sommes aussi touchés par un autre phénomène équivalent
qui illustre de la même manière cette création permanente et ininterrompue de données : The data deluge.
Couverture The Economist
Mars 2010
1 - Vous avez dit « Big Data » ?
Le web est un incroyable réservoir de données
1er janvier 1985 : enregistrement du premier nom de domaine.!En 2012 : 252 millions noms de domaines enregistrés.!!Nombre de serveurs Google en 2014 :plus de 1 million de serveurs.!Nombre d’utilisateurs Facebook par jour : 699 millions !!Nombre de visiteurs uniques sur YouTube par mois : 1 milliard!!Nombre de pages web indexées : 36 milliards!!Nombre de tweets émis entre 2006 et 2012 : 170 milliards!Sources : www.datapublica.com!!
Et ce n’est pas tout…
1 - Vous avez dit « Big Data » ?
Le web est un incroyable réservoir de données!Google : plus de 1 millions de serveurs en janvier 2010!!Amazon : plus de 450 000 serveurs en mars 2012!!Microsoft : plus de 300 000 serveurs en mars 2013!!OVH : plus de 140 000 serveurs en mars 2013!!!
Ces datacenters stockent et archivent toutes les données que nous créons en permanence sur le web.!
!Aussi, chaque jour, les programmes de Google parcourent 20 milliards de sites web.!
!Sources : www.datapublica.com
5 000 recherches mensuelles « big data »
20 000 recherches mensuelles « big data »x4
big data définitiondéfinition big data
big data wiki
big data pdf c’est quoi le big datasignification big data
big data pour les nuls
7
1 - Vous avez dit « Big Data » ?
La data structurée, c’est quand on connaît l’ensemble des valeurs que cette donnée peut prendre.
Âge
20 ans 15 ans 16 ans 46 ans 33 ans 27 ans 37 ans
La simple connaissance de cette donnée permet de l’utiliser à des fins statistiques
9
1 - Vous avez dit « Big Data » ?
En quoi la data structurée est-elle intéressante ?
1 2
3
Elle est facile d’accès Elle est facile à traiter
Elle est utilisable par tous… et déjà utilisée par bon nombre d’organisations, voire toutes les organisations !
10
1 - Vous avez dit « Big Data » ?
En quoi la data structurée est-elle intéressante ?
Elle n’est intéressante en rien de plus que ce que l’on fait déjà avec les bases de données, les fichiers clients, les CRM, les fiches
produits… On l’a déjà énormément exploité. !
…et on continue à l’exploiter. !!
La data structurée n’est peut-être pas si intéressante, parce que aujourd’hui, on a encore mieux !
11
1 - Vous avez dit « Big Data » ?
Il existe une autre forme de données, la data non structurée : qu’a-t-elle de si différent ?
12
1 - Vous avez dit « Big Data » ?
+ -
La data non structurée est très riche en contenu
La data non structurée est trop riche en contenu, et devient donc très difficile
d’accès et d’analyse. Mais cela devient possible !
Volumétrie
5
7 000 milliards octets / jour
300 millions de photos / jour
14
Le domaine des Big Data s’intéresse à des ensembles de données numériques, qui de par leur taille, ne peuvent être traitées avec des méthodes traditionnelles. Les données peuvent être de l’ordre au minimum du Gigaoctet, du Teraoctet… et surtout ce volume ne cesse de croitre à grande vitesse.
> 250 milliards de mails / jour
72 heures de vidéo sont envoyées sur Internet chaque jour
1 - Vous avez dit « Big Data » ?
Votre prise de parole, vos réactions, vos interactions… et celles internautes !
15
1 - Vous avez dit « Big Data » ?
D’après une étude IDC, les données numériques créées dans le monde seraient passées de 1,2 zettaoctets en 2010 à 2,8 zettaoctets en 2012 pour
atteindre 40 zettaoctets en 2020 ! !!1 zettaoctet = 1021 octets = 1 000 milliards de Goctets
5
16
On estime que le volume de données stockées dans le monde double tous les 4 ans. On a ainsi stocké plus données depuis 2010 qu’on ne l’avait fait depuis le début de l’humanité !
Vitesse
1 - Vous avez dit « Big Data » ?
5
17
Il y a une très grande diversité des données : ce peut être la consommation individuelle d’électricité, le nombre de « like » sur Facebook ou les 5000 photographies déposées chaque minute sur le site de partage Flickr.
Variété
1 - Vous avez dit « Big Data » ?
5
18
Les données recueillies sont souvent bruitées et imprécises et doivent être traitées pour en extraire l’information utile.
Véracité
41 000 000 de français sont sur le web
58% des français donnent leur avis sur le web (blog, forum,
autres)
1 - Vous avez dit « Big Data » ?
5
19
Valeur
90% des données présentes sur le web sont des données
non structurées
10% des entreprises exploitent le big data
1 - Vous avez dit « Big Data » ?
Pourquoi extraire la data ?
Structurer et enrichir les
données existantes
Construire une nouvelle offre
Mettre en place des outils de Business
Intelligence
Etendre le champ des possibles qui devient véritablement immense
22
2 - Extraire la Data
Parce que c’est devenu un véritable enjeu stratégique pour l’entreprise ou l’organisation.
23
2 - Extraire la Data
Il existe aujourd’hui deux principales techniques de recueil automatique des données sur le web : le crawling et le scraping. Ces deux techniques peuvent être utilisées de manière complémentaire.
5
Le crawling est l’action produite par un crawler, et le scraping est l’action produite par un scraper. Crawlers et scrapers sont des programmes informatiques.
Le crawling
24
Le crawler est donc un programme informatique dont la fonction est de se promener de site en site et d’extraire automatiquement toute l’information présente sur les pages. !Le crawler est connu sous d’autres noms : spider, web spider, bot, harvester. !A partir d’une liste de sites web, il parcourt chaque page de chacun des sites web pour ensuite suivre les liens qui pointent vers d’autres sites web qui n’étaient pas dans la liste initiale.
2 - Extraire la Data
Eléments clés pour le crawling :
25
Performance : comment crawler des milliers de pages ? en combien de temps ? !Politesse : il important de ne pas saturer les sites web visités en limitant les fréquences des requêtes sur les mêmes serveurs. (voir aussi fichier robot.txt) !Délai de réponse : un délai de réponse trop long indiquera peut-être que le site crawlé ne supporte pas la charge. Il peut aussi y avoir un time out. !Obstacles : Liens morts, code 200, code 404… le crawler doit être paramétré pour ne pas analyser ces pages quand il reçoit ces codes. !Cible et profondeur de crawl : le terme « seel » définit la liste initiale des sites à visiter. Le niveau correspond à la profondeur d’analyse souhaitée (0=liste initiale ; 1 = liste initiale + liens de niveau 1 ; 2 = liste initiale + liens de niveau 1). !Implémentations : comment stocker les données extraites ? Le sont-elles sans ou avec traitement ? Faut-il stocker uniquement les informations pertinentes ? Toutes ces questions doivent être bien étudiées avant de lancer le crawl.
2 - Extraire la Data
Exemple concret N°1 de crawling : IMPORT.IO
26
L’outil https://import.io est un outil open source de crawling !!Principe de fonctionnement : https://www.youtube.com/watch?v=cdmsTxu45-c !!Exemple avec le site IKEA :
2 - Extraire la Data
Exemple concret N°2 de crawling : Common Crawl
27
Common Crawl est une fondation américaine dont l’objectif est d’archiver toutes les pages web et de les mettre à disposition gratuitement à travers une plate-forme. !Cet objectif ambitieux nécessite l’utilisation de crawlers très puissants et d’une énorme capacité de stockage. Actuellement, 15% du web mondial est disponible soit près de 6 milliards de pages web. !Même si cela n’est pas exhaustif, cela reste suffisamment important pour attaquer la couche « haute » du web et donc contenir une grande partie des sites facilement accessibles et/ou couramment utilisés.
2 - Extraire la Data
Exemple concret N°2 de crawling : Common Crawl
28
Exemple de graphe des acteurs de l’Open Data français : !http://www.data-publica.com/content/2012/09/le-graphe-des-sites-francais-dopendata/
2 - Extraire la Data
Le scraping
29
Le scraper est donc un programme informatique capable d’extraire de l’information d’un site web. Toutefois, le site doit être bien étudié avant le travail d’extraction. !En effet, contrairement au crawling, le scraping a pour but d’extraire du contenu d’un site web dans le but de le transformer, et de l’utiliser dans un autre contexte.
2 - Extraire la Data
Le « coeur sémantique »
Les mots du métier Les mots de votre langage
Les mots des internautes
30
3 - Traiter la Data
Mais à quoi cela sert-il ?
Le référencement naturel (SEO)
Le référencement payant (SEA)
Une stratégie social médias
(SMO)+ +Avoir une vision transverse et
basée sur les données et rien de plus
31
3 - Traiter la Data
Récupérer les données, tout le monde sait faire. Mais… Comment la rendre exploitable ?
32
3 - Traiter la Data
Exemple concret d’entreprise : SYNOMIA
=> grâce à l’analyse syntaxique.
L’analyse syntaxique, une tâche complexe.
Nouvel élément à prendre en compte : l’ambiguïté.
Et quand on mêle tout, la difficulté atteint un niveau très élevé.
34
3 - Traiter la Data
Présence en ligne + écosystème = big data
Big data + technologie = richesse extrême du résultat
Big data - technologie = opportunité pour la concurrence
D’où l’urgence pour le marché de comprendre cette notion et ses enjeux afin d’oser en exploiter sa richesse.
36
Conclusion côté monde économique
37
ConclusionConclusion côté politique et technique
L’algorithme est la clé d’accès à un savoir cumulatif sur soi et sur la société, dans un but d’amélioration, mais le prix à payer
est l’accès à la donnée.
Nécessité d’établir une éthique de la data : expliquer le contexte de collecte et de traitement des données
personnelles.