big data بزرگ داده ها
TRANSCRIPT
![Page 1: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/1.jpg)
Big Dataای بر مقدمه
دکتر خنجری :استاد
سعید حسنوند، امید سهرابی: ارائه دهندگان
![Page 2: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/2.jpg)
www.company.com
فهرست مطالب
•Big Data؟چیست
Bigچرا• Data؟
Bigروی های پیشهچالش• Data
Bigی آینده• Data
NoSQLجنبش •
NoSQLانواع •
•MapReduce
•Hadoop
1
![Page 3: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/3.jpg)
www.company.com
Big Data2چیست؟
لغوی معنای•
کالن داده•
های حجیمداده•
بزرگ داده•
تعریف•
!تعریف واحدی وجود ندارد•
هادو عنصر اصلی در تمامی تعریف•
هاوجوِد حجم زیادی از داده•
هاهای داده سنتی در مدیریت دادهناتوانِی پایگاه•
![Page 4: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/4.jpg)
www.company.com
Big Data3چیست؟
هاویژگی•
Big Data
![Page 5: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/5.jpg)
www.company.com
Big Data4چیست؟
(Volume)هاحجم داده•
های موجود، حدود حجم کل داده2003تا سال •اگزابایت بوده است5
اگزابایت 5حدود امروزه در هر دو روز،•شودداده تولید می
IBMگزارش•
اگزابایت داده در روز2.5تولید •
های موجود در دو درصد کل داده90تولید •سال اخیر
0.8 Zb 35.2 Zb 44رشدیبرابری
2009
2020
![Page 6: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/6.jpg)
www.company.com
Big Data5چیست؟
(Volume)هاحجم داده•
های موجود، حدود حجم کل داده2003تا سال •اگزابایت بوده است5
اگزابایت 5حدود امروزه در هر دو روز،•شودداده تولید می
IBMگزارش•
اگزابایت داده در روز2.5تولید •
های موجود در دو درصد کل داده90تولید •سال اخیر
EXA
218
PETA
215
TERA
212
ZETTA
221
GIGA
29
2018
2015
2012
2003
![Page 7: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/7.jpg)
www.company.com
Big Data6چیست؟
(Volume)حجم داده ها•
![Page 8: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/8.jpg)
www.company.com
Big Data7چیست؟
هانمونه•
( 1392)فیسبوک•
بیش از یک میلیارد کاربر•
پتابایت داده300بیش از •
ترابایت داده در روز50اضافه شدِن بیش از •
درصد از کِل تصاویر دنیای مجازی 35بیش از •
(1390)گوگل•
بیش از صد پتابایت داده•
میلیارد صفحه وب1000بیش از –
وجو در روزمیلیارد جست7.2حدود •
![Page 9: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/9.jpg)
www.company.com
Big Data8چیست؟
هانمونه•
( 1393)یوتیوب•
بیش از یک اگزابایت داده•
بازدیِد بیش از یک میلیارد کاربر در ماه•
درصد ترافیک خارج از آمریکا80•
اضافه شدن صد ساعت فیلم در دقیقه•
(1393)توییتر •
حدود یک میلیارد کاربر•
میلیارد توییت در سال124بیش از •
توییت در ثانیه4500حدود •
میلیون کاربر فعال در ماه271•
![Page 10: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/10.jpg)
www.company.com
Big Data9چیست؟
هانمونه•
های حسگرشبکه•
های هواشناس یسازمان•
های پزشکیدستگاه•
بیوانفورماتیک•
های بزرگسازمان•
...و •
![Page 11: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/11.jpg)
www.company.com
Big Data10چیست؟
هاویژگی•
Big Data
![Page 12: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/12.jpg)
www.company.com
Big Data11چیست؟
(Variety)هاتنوع در داده•
(Structured)ساختارمندهایداده•
هایی که دارای ساختارِ مشخصی هستندداده•رشته ها–
اعداد–
تاریخ–
...و–
های موجود، درصد از کل داده20حدود •ساختارمند هستند
ایی رابطههای دادهاستفاده از پایگاه•
![Page 13: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/13.jpg)
www.company.com
Big Data12چیست؟
(Variety)هاتنوع در داده•
(Structured)های ساختارمند داده•
(Semi-Structured)نیمه ساختارمندهای داده•
ساختاری سازگار و مشابه ندارند•–XML
–Tweets
–SGML
–Logs
...و –
عدم امکان استفاده از پایگاه های داده ی •ایرابطه
![Page 14: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/14.jpg)
www.company.com
Big Data13چیست؟
(Variety)هاتنوع در داده•
(Structured)های ساختارمند داده•
(Semi-Structured)نیمه ساختارمند های داده•
(Unstructured)فاقد ساختار های داده•
فاقد هرگونه ساختاری هستند•...(فیلم، صوت و )ای های چند رسانهداده–
هاایمیل–
گزارشات–
هاارائه–
....و –
های موجوددرصد از کل داده90تا 70حدود •
![Page 15: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/15.jpg)
www.company.com
Big Data14چیست؟
(Variety)تنوع در داده ها•
![Page 16: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/16.jpg)
www.company.com
Big Data15چیست؟
هاویژگی•
Big Data
![Page 17: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/17.jpg)
www.company.com
Big Data16چیست؟
(velocity)ها رشد سریع داده•
های جدیدهسرعت باال در تولیِد داد•
![Page 18: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/18.jpg)
www.company.com
Big Data17چیست؟
(velocity)ها رشد سریع داده•
های جدیدسرعت باال در تولید داده•
سرعت باال در ایجاد پرس و جوها•
تجهیزات علمی های حسگرشبکه
![Page 19: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/19.jpg)
www.company.com
Big Data18چیست؟
(complexity)پیچیدگی •
(Variability)تغییرپذیری •
...و •
Big Data
3V’s هاویژگی•
![Page 20: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/20.jpg)
www.company.com
19؟Big Dataچرا
روز افزون ظرفیت ادوات ذخیره سازی رشد•
![Page 21: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/21.jpg)
www.company.com
20؟Big Dataچرا
رشد روز افزون ظرفیت ادوات ذخیره سازی •
هاگیر قدرت پردازش ی سیستمافزایش چشم•
![Page 22: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/22.jpg)
www.company.com
21؟Big Dataچرا
رشد روز افزون ظرفیت ادوات ذخیره سازی •
هاگیر قدرت پردازش ی سیستمافزایش چشم•
های موجودافزایش حجم داده•
![Page 23: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/23.jpg)
www.company.com
Big Data22روی های پیشچالش
های سنتی تحلیل اطالعاتعدم کارایی روش•
تحلیل داده•
امنیت و حریم شخص ی•
مشکالت فنی و پردازش ی•
![Page 24: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/24.jpg)
www.company.com
Big Data23ی آینده
•Big Data درGoogle Trend
![Page 25: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/25.jpg)
www.company.com
Big Data24ی آینده
•Big Data درGoogle Trend
![Page 26: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/26.jpg)
www.company.com
Big Data25ی آینده
ی گارتنراز نظر موسسهBig Dataجایگاه پژوهش ی •
![Page 27: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/27.jpg)
www.company.com
وجود دارد ؟Big Dataچه تکنولوژی برای
استفاده از یک مدل بدون ساختار و توزیع شده
دلیل استفاده از این مدل
26
![Page 28: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/28.jpg)
www.company.com
NoSQL27جنبش
تاریخچه
Not Only SQL
NoSQL بیان نمی کند کهSQLهیچگاه نباید استفاده شود ویا مرده است
![Page 29: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/29.jpg)
Companyمثال هایی از پایگاه داده های غیر رابطه ای
LOGO28
![Page 30: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/30.jpg)
www.company.com
NoSQL–Key Value29جنبش
– Keyذخیره سازی –1 Value:
مقدار–مجموعه ای از زوج های کلید : مدل داده ای •
Tokyo , Redis , Voldemort: مثال •
![Page 31: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/31.jpg)
www.company.com
NoSQL–Column30جنبش
:ذخیره سازی ستون محور –2
ذخیره سازی ستون ها به جای سطرها: مدل داده ای •
Cassandra, HyperTable, HBase: مثال •
![Page 32: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/32.jpg)
www.company.com
NoSQL–Document31جنبش
:ذخیره سازی سندگرا–3
مقدارها-مجموعه ای از مجموعه ی کلید : مدل داده ای •
CouchDB , MongoDB: مثال •
![Page 33: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/33.jpg)
www.company.com
NoSQL–Graph32جنبش
:ذخیره سازی گراف –4
مقدار روی هرکدام–گره ها، ارتباط ها، کلید : مدل داده ای •
Sones, AllegroGraph , Neo4j: مثال •
![Page 34: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/34.jpg)
Companyمثال هایی از پایگاه داده های غیر رابطه ای
LOGO33
![Page 35: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/35.jpg)
www.company.com
NoSQL34مقایسه فریم ورک های
MySQL
MongoDB یا CouchDB
Neo4j
![Page 36: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/36.jpg)
Map ReduceCompany
LOGO35
![Page 37: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/37.jpg)
www.company.com
Hadoop36
Hadoop همان ،VMware هست اما در راهی متفاوت
![Page 38: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/38.jpg)
Companyو ماشین مجازی Hadoopتفاوت
LOGO37
Hadoop
چند سرور فیزیکی . 1را می گیرد
آنها را با هم . 2ترکیب می کند
یک سرور بزرگ . 3مجازی ارائه می دهد
Vmware
یک سرور فیزیکی . 1می گیرد
آن را می شکند. 2چند سرور مجازی . 3
ارائه می دهد
![Page 39: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/39.jpg)
www.company.com
38نتیجه گیری
NoSQLنمی توان با قاطعیت گفت که یک فریم ورک
مختص یک کار است
![Page 40: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/40.jpg)
Companyمنابع
LOGO39
1 - http://www.economistinsights.com/sites/default/files/downloads/
EIU_SAS_BigData_4.pdf
2 - http://en.wikipedia.org/wiki/MapReduce
3 - http://en.wikipedia.org/wiki/NoSQL
4 - http://www.ibm.com/big-data/us/en/
5 - Marco Grobelink,Jozef stefan Institute,Big-Data Tutorial, 2013.
![Page 41: Big data بزرگ داده ها](https://reader033.vdocuments.net/reader033/viewer/2022050808/55a7ce891a28abe6408b4874/html5/thumbnails/41.jpg)
www.company.com
40پرسش و پاسخ