big data i arkitektura big data aplikacije meetup
TRANSCRIPT
Big Data i Arhitektura Big Data aplikacije
Darko Marjanovic CEO & Co-Founder @ Things Solver [email protected]
• Implementacija Big Data rešenja
• Big Data consulting
• Big Data treninzi
Partneri
Agenda
• Big Data
• Big Data primeri
• Arhitektura Big Data aplikacije
• Primeri
Šta je to Big Data?
• Big Data predstavlja podatke koji pristižu velikom brzinom i one su količine koja prevazilazu mogućnosti tradicionalnog softvera za skladištenje, obradu i upravljanje podacima.
• Big Data je sve ono što ne može da stane u Excel.
Big Data - Dimenzije
Big Data - Izvori podataka
• Društvene mreže (Twitter, Facebook…)
• Email, HTML, Click Stream
• Slike, Video, Logovi, Senzorski podaci
• Relacione Baze podataka
Big Data - Primeri
• Šta se najviše kupuje uz pivo?
• U kojoj vezi su kiša i integralna peciva?
• House of Cards i Big Data?
Big Data - Korisnici
Male i srednje kompanije?
• Cena
• Benefiti
• Budućnost
Aplikacije - Šta treba uzeti u obzir
• Sadašnje i potencijalne izvore
• Brzinu rasta podataka
• Biznis potrebe
• Resursi? Cloud je jeftin, Hadoop je besplatan
• Cena
Arhitektura Big Data Aplikacije
Big Data Aplikacija - Cloud VS Bare Metal
• Cena
• Fleksibilnost
• Administracija
• Performanse
• Kontrola
Big Data alati - Ingestion
• Unos podataka u storage sloj
• Unošenje samo validnih podataka
• Unos podataka u realnom vremenu ili ne
• Korišćenje gotovih alata
Big Data alati - Ingestion • Flume
• Sqoop
• Kafka
• Storm
• Kinesis
• …
Big Data alati - Storage
• Hadoop HDFS - velika brzina upisa, write once read many…
• NoSQL Baza - brzo čitanje, operativna baza…
Hadoop
• Hadoop Common
• HDFS
• MapReduce
• YARN
Big Data alati - Analytics • MapReduce (Java, Python, C#…)
• Pig (ETL…)
• Hive, Tajo (Hadoop DWH alat)
• Spark (10x brži MapReduce)
• Storm (Streaming)
• Python, R
• Flink
Big Data greške!• Prebacivanje relacionih baza u Hadoop za potrebe
obrade Hive-om (Hadoop nije zamena za RDBMS).
• Parčanje podataka u više “Data Lake”-ova.
• SQL orijentacija (Big Data analiza je moćnija ako se kombinuje više alata, Hive(SQL), R, Pig, MapReduce…)
• …
Korisni linkovi
• Hadoop Srbija
• Meetup grupa
• Hortonworks
• Big Data Application Architecture Q&A
Big Data i Arhitektura Big Data aplikacije
Darko Marjanovic CEO & Co-Founder @ Things Solver [email protected]
25