لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای...
TRANSCRIPT
![Page 1: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/1.jpg)
مبانی یادگیری ماشینی
مبانی و مفاهیم یادگیری ماشینی و بیگ دیتا 1397مهرماه 11-13
دانشگاه تهران
کاربردها در ماده چگال: دومین کارگاه یادگیری ماشینی در فیزیک
Amin Nezarat (Ph.D.)Assistant Professor at Payame Noor [email protected] www.astek.ir - www.hpclab.ir
![Page 2: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/2.jpg)
عناویندوره
مبانی یادگیری ماشینی.1
بیگ دیتا و مفاهیم. 2
افزایش کارایی الگوریتمهای یادگیری ماشینی. 3
4.
![Page 3: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/3.jpg)
یمبانی یادگیری ماشین
![Page 4: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/4.jpg)
چرخه عمر یادگیری ماشینی
![Page 5: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/5.jpg)
• Tom Mitchell (1998): A computer program is said to learn from experience with respect to some task and some performance measure , if its performance on , as measured by , improves with experience.
• Ethem Alpaydın (2010): Machine learning is programming computers to optimize a performance criterion using example data or past experience.
• Traditional programming versus machine learning:
تعریف یادگیری ماشینی
![Page 6: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/6.jpg)
6
چرا ماشین را برنامه نویسی نکنیم؟•بصورت در صورتیکه ممکن است آنها را بتوان. بعضی کارها را بدرستی نمیتوان توصیف نمود–
. معین نمود( خروجی/ورودی) مثالهای
آن ممکن است در خیل عظیمی از داده اطالعات مهمی نهفته باشد که بشر قادر به تشخیص–(.داده کاوی) نباشد
که ممکن است موقع طراحی یک سیستم تمامی ویژگیهای آن شناخته شده نباشد در حالی–.ماشین میتواند حین کار آنها را یاد بگیرد
خود را با ماشین میتواند با یادگیری این تغییرات. ممکن است محیط در طول زمان تغییر کند–.آنها وفق دهد
چرا یادگیری؟
![Page 7: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/7.jpg)
عریف زیرا ت. در عمل نوشتن برنامه ای برای تشخیص یک صورت میتواند کار مشکلی باشد•ار دقیقی برای آن وجود ندارد و حتی در صورت وجود داشتن نوشتن برنامه ای بر اساس آن ک
.سختی است
و اعمال در نتیجه بجای نوشتن یک برنامه با دست، میتوان با تهیه مقدار زیادی نمونه صحیح•.دهدآن به یک الگوریتم یادگیری ماشین برنامه ای تولید کنیم که کار مورد نظر را انجام
رنامه اگر این ب. این برنامه بسیار با آنچه که قرار بود با دست نوشته شود متفاوت خواهد بود•ورد نظر را درست تهیه شده باشد میتواند برای نمونه هائی که تاکنون ندیده است نیز خروجی م
.تولید کند
7
چرا یادگیری؟
![Page 8: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/8.jpg)
8
ای در سالهای اخیر پیشرفتهای زیادی در الگوریتم ها و تئوری های مربوطه بوجود آمده و زمینه ه•.تحقیقاتی جدید زیادی پدید آمده اند
.بوجود آمده اندOnlineداده های آزمایشی زیادی بصورت •
کامپیوتر ها قدرت محاسباتی زیادی بدست آورده اند•
بتنی در زمینه پردازش گفتار برنامه های م. ) جنیه های عملی با کاربردهای صنعتی بوجود آمده اند•(بر یادگیری از همه روشهای دیگر پیشی گرفته اند
چرا یادگیری؟
![Page 9: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/9.jpg)
ند برای در یادگیری ماشین با استفاده از تئوری اطالعات مدلهای ریاضی ساخته میشود که میتوان•.استنتاج استفاده شوند
.باشد که برای پیش بینی موارد جدید بکار می روند(Predictive)مدل ممکن است پیشگویانه •
.که دانش آن از داده یادگرفته میشود(descriptive)مدل ممکن است توصیفی باشد •
.البته مدل می تواند هر دو خاصیت فوق را داشته باشد•
9
یادگیری مدل
![Page 10: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/10.jpg)
10
یادگیری انسان چگونه است؟•انسان از طریق تعامل با محیط بیرونی یاد میگیرد–یک عامل باید وجود داشته باشد تا یادگیری را شروع کند–
یادگیری ماشین چگونه اشت؟•.از طریق نوشتن برنامه میتوان به ماشین گفت که چه باید بکند–.از طریق نمایش مثالهای متعدد میتوان ماشین را وادار به یادگیری نمود–.ماشین میتواند از طریق تجربه محیط واقعی یاد بگیرید–ای وجود ندارد ماشین میتواند از طریق مشاهده در حالتیکه مثالها مشخص نیستند و خبره–
.یادبگیرد
یادگیری انسان و ماشین
![Page 11: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/11.jpg)
11
(inductive)یادگیری استتنتاجی •
مثل درخت های تصمیم. که یادگیری بر مبنای مثالهای متعدد انجام میشودConnectionistیادگیری •
مثل شبکه های عصبی مصنوعی. که یادگیری بر مبنای مدل مغز بشر صورت میپذیردBayesianیادگیری •
.که فرضیه های مختلفی در مورد داده ارائه میشودReinforcementیادگیری •
.که از سنسورها و تجربه در محیط استفاده میشودEvolutionaryیادگیری •
مثل الگوریتم ژنتیک
یتکنیکهای مختلف یادگیر
![Page 12: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/12.jpg)
تایادگیری ماشینی و بیگ دی
![Page 13: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/13.jpg)
چرا یادگیری ماشینی
![Page 14: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/14.jpg)
چه کاربردهایی دارد؟
![Page 15: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/15.jpg)
چرخهML
![Page 16: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/16.jpg)
انواع الگوریتمهایML
![Page 17: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/17.jpg)
17
:یادگیری با ناظر•هدف. مجموعه از مثالهای یادگیری وجود دارد بازای هر ورودی، مقدار خروجی و یا تابع مربوطه نیز مشخص استیک
سیستم یادگیر بدست آوردن فرضیه ای است که تابع و یا رابطه بین ورودی و یا خروجی را حدس بزند:یادگیری بدون ناظر•
یک مجموعه از مثالهای یادگیری وجود دارد که در آن فقط مقدار ورودی ها مشخص است و اطالعاتی در مورد ساس یادگیری بدون ناظر برای دسته بندی ورودیها و یا پیش بینی مقدار بعدی بر ا. خروجی صحیح در دست نیست
.موقعیت فعلی بکار میرود:تقویتییادگیری •
لف عملیات پاداش هستند که یادگیر در وضعیت های مخت/خروجی نیستند بلکه بصورت وضعیت/بصورت ورودیمثالها یت را مختلفی را انجام داده و پاداشهای متفاوتی دریافت و بر اساس مجموع پاداش های دریافتی عمل متناسب با هر وضع
.یاد میگیرد:یادگیری نیمه نظارتی•
طوری هستند که برای تعداد کمی از آنها مقدار خروجی موجود است اما برای مثالهای زیادی مقدار خروجی مثالها .مشخص نیست
انواع الگوریتمهایML
![Page 18: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/18.jpg)
الگوریتمهای با ناظر
![Page 19: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/19.jpg)
الگوریتمهای بدون ناظر
![Page 20: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/20.jpg)
الگوریتمهای یادگیری تقویتی
![Page 21: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/21.jpg)
چه الگوریتمهایی داریم؟
![Page 22: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/22.jpg)
![Page 23: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/23.jpg)
بدون ناظر/تفاوت بین مدلهای با
![Page 24: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/24.jpg)
؟الگوریتم را چگونه انتخاب کنیم
![Page 25: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/25.jpg)
25
یادگیری انجام داده است Tدر مورد کارEمی گوییم یک برنامه کامپیوتری از تجربه .پس از این تجربه بهبود پیدا کند Pاگر عملکرد آن در صورت اندازه گیری با معیار
یادگیری کنترل یک رباتیادگیری تشخیص حروف دست نویسcheckersیادگیری بازی
T: انجام بازیcheckers
P :ی درصد بازیهایی که بر حریف غلبه مکند
T.E :انجام بازی بر علیه خودش
T : تشخیص حروف دست نویس در داخلتصویر
P :درصد تشخیص صحیح حروف
T.E :database ای ازکلمات دستنویس ودسته بندی هر کدام
T :ا هدایت یک ربات در بزرگراه چهار بانده باستفاده از دوربین
P :که میانگین فاصله طی شده قبل از اینخطایی رخ دهد
T.E :ویر با ضبط عملیات یک راننده و تصاپشت سر هم جاده بدست می آید
یادگیری
![Page 26: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/26.jpg)
چند سوال در مورد یک مسئله یادگیری
از چه الگوریتم یادگیری برای یک مسئله خاص میتوان استفاده کرد؟•
چه مقدار داده آموزشی موردنیاز است؟•
مثال آموزشی بعدی را چگونه باید انتخاب نمود؟•
چگونه میتوان مسئله یادگیری را به مسئله تقریب تابع تبدیل نمود؟•
ی داشته باشد؟آیا میتوان نحوه نمایش یادگیر را بطور خودکار تغییر داد تا با مسئله سازگاری بیشتر•
![Page 27: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/27.jpg)
بیگ دیتا و مفاهیم
![Page 28: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/28.jpg)
33© 2013 Berlin Big Data Center • All Rights Reserved
© Volker Markl
ML
ML
alg
orith
ms
alg
orith
ms
data too uncertain Veracity Data MiningMATLAB, R, Python
Predictive/Prescriptive MATLAB, R, Python
data volume too large
data rate too fast
data too heterogeneous
Volume
Velocity
Variability
Data
Reporting
Ad-Hoc Queries
ETL/ELT
aggregation, selection
SQL, XQuery
MapReduce
Analysis
sca
lab
ility
DMD
M
sca
lab
ility
Data & Analysis: Increasingly Complex!
![Page 29: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/29.jpg)
44© 2013 Berlin Big Data Center • All Rights Reserved
© Volker Markl
Application
Data
Science
Mathematical Programming
LinearAlgebra
Stochastic Gradient Descent
Error Estimation
Active Sampling
Regression
Monte Carlo
Statistics
Sketches
Hashing Convergence
Decoupling Iterative
Algorithms
Curse of Dimensionality
Relational Algebra / SQL
Indexing
Control Flow
Data Warehouse/OLAP
NF2/XQuery
Resource Management
Hardware Adaptation
Fault Tolerance
Memory Management
Parallelization
Scalability
Memory Hierarchy
Data Analysis Language
Compiler
Query Optimization
Domain Expertise (e.g., Industry 4.0, Medicine, Physics, Engineering, Energy, Logistics)
Data Flow
Real-Time
New Technology to the Rescue!
![Page 30: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/30.jpg)
88© 2013 Berlin Big Data Center • All Rights Reserved
© Volker Markl
ML DMFeature Engineering
Representation
Algorithms (SVM, GPs, etc.)
Think ML-algorithms
in a scalable way
Process iterative
algorithms
in a scalable way
Technology X
Declarative Languages
Automatic Adaption
Scalable processing
Curse of Dimensionality
Iterative Algorithms
Control flow
Isolation Convergence
Mathematical Programming
LinearAlgebra
Error Estimation
Active Sampling
Regression Monte Carlo
Statistic
SketchesHashing
Scalability
Parallelization Compiler
Memory Management
Memory Hierarchy
Data Analysis Language
Query Optimization
Dataflow Indexing
Hardware adaption
Fault Tolerance
Resource Management
NF2/XQuery
RelationalAlgebra/SQL
Data Warehouse/OLAP
declarative
Goal: Data Analysis without
System Programming!
Machine Learning + Data Management = X
![Page 31: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/31.jpg)
چقدر سریع؟
![Page 32: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/32.jpg)
Big Data StackApache Hadoop is an open source software framework
for storage and large scale processing of data-sets on
clusters of commodity hardware
Hadoop was created by Doug Cutting and Mike
Cafarella in 2005, Named the project after son's toy
elephant
![Page 33: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/33.jpg)
Computation
Data
انتقال محاسبات نزد داده
![Page 34: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/34.jpg)
Scalability at Hadoop’s core!
![Page 35: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/35.jpg)
Reliability!Reliability!Reliability!
قابلیت اعتماد
Hadoop Distributed File System(HDFS)
![Page 36: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/36.jpg)
Once
a year
365 Computers
Once
a day
![Page 37: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/37.jpg)
Small Data & Complex Algorithm
Large Data & Simple Algorithm
Vs.
![Page 38: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/38.jpg)
Data Actionable Knowledge
That is roughly the problem that Machine Learning addresses!
![Page 39: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/39.jpg)
Data Knowledge
� Is this email spam or no spam?
� Is there a face in this picture?
� Should I lend money to this customer given his spending
behaviour?
![Page 40: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/40.jpg)
� Knowledge is not concrete
� Spam is an abstraction
� Face is an abstraction
� Who to lend to is an abstraction
You do not find spam, faces, and financial advice in datasets, you
just find bits!
![Page 41: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/41.jpg)
� Preprocessing
� Machine Learning
� Result validation
کشف دانش از داده ها
![Page 42: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/42.jpg)
� Data cleaning
� Data integration
� Data reduction, e.g., sampling
� Data transformation, e.g., normalization
Preprocessing
![Page 43: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/43.jpg)
� Classification and regression (supervised learning)
� Clustering (unsupervised learning)
� Mining the frequent patterns
� Outlier detection
Validation&Functionality
� Needs to evaluate the performance of the model on some criteria.
� Depends on the application and its requirements.
![Page 44: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/44.jpg)
• What is Spark ?
High level Architecture
How does it Work ? RDD and Operations Hadoop MapReduce
DAG (Directed Acyclic Graph) Run Mode of Spark Programming model
• Machine Learning With Spark
MLLib Library
Types of Machine Learning MLArchitecture
Comparison with other tools
• Other Applications
What is Spark?
![Page 45: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/45.jpg)
• Definition
“Apache Spark is an open source big data processing framework built around
speed, ease of use, and sophisticated analytics. It was originally
developed in 2009 in UC Berkeley’s AMPLab, and open sourced in
2010 as an Apache project.”
Source : http://www.infoq.com/articles/apache-spark-introduction
What is Spark?
![Page 46: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/46.jpg)
Source : https://bighadoop.wordpress.com/2014/04/03/apache-spark-a-fast-big-data-analytics-engine/
معماریSpark
![Page 47: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/47.jpg)
Source: https://www.sigmoid.com/apache-spark-internals/
Sparkچگونه کار می کند؟
![Page 48: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/48.jpg)
RDD andOperations
Source : http://spark.apache.org/docs/0.6.2/api/core/spark/RDD.html
4© CETIC –www.cetic.be
![Page 49: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/49.jpg)
• Definition
“A Resilient Distributed Dataset (RDD), the basic
abstraction in Spark. Represents an immutable,
partitioned collection of elements that can be
operated on in parallel. This class contains the basic
operations available on all RDD”
Source : http://spark.apache.org/docs/0.6.2/api/core/spark/RDD.html
RDDو عملیاتهای آن• Creating RDD:
From existing collection
From Hadoop-based input sources
valcollection = List ("a", "b", "c", "d")
valrddFromCollection= sc.parallelize (collection)
val rddFromTextFile= sc.textFile (" List ")
![Page 50: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/50.jpg)
• Definition
“The term MapReduce actually refers to two separate and distinct tasks
that Hadoop programs perform. The first is the map job … and the
second is the reduce.”
Source: https://www-01.ibm.com/software/data/infosphere/hadoop/mapreduce/
مدل برنامه نویسیMap/Reduce
![Page 51: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/51.jpg)
Case of MapReduce :
Case of RDD:
Source: http://www.thecloudavenue.com/
RDDو عملیاتهای آن
![Page 52: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/52.jpg)
• MLLib Library :
“MLlib is Spark’s scalable machine learning library consisting of
common learning algorithms and utilities, including classification,
regression, clustering, collaborative filtering, dimensionality
reduction, as well as underlying optimization Primitives”
Source: https://spark.apache.org
Spark Machine Learning
![Page 53: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/53.jpg)
Algorithms:
• classification: logistic regression, linear support vector machine
(SVM), naive Bayes
• regression: generalized linear regression (GLM)
• collaborative filtering: alternating least squares (ALS)
• clustering: k-means
• decomposition: singular value decomposition (SVD), principal
component analysis (PCA)
MLLibچیست؟
![Page 54: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/54.jpg)
Why MLlib?
![Page 55: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/55.jpg)
Algorithms:
• classification: SVM, nearest neighbors, random forest, …
• regression: support vector regression (SVR), ridge regression,
Lasso, logistic regression, …
• clustering: k-means, spectral clustering, …
• decomposition: PCA, non-negative matrix factorization (NMF),
independent component analysis (ICA), …
Scikit-Learn
![Page 56: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/56.jpg)
Algorithms:
• classification: logistic regression, naive Bayes, random forest, …
• collaborative filtering: ALS, …
• clustering: k-means, fuzzy k-means, …
• decomposition: SVD, randomized SVD, …
Apache Mahout
![Page 57: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/57.jpg)
Vowpal Wabbit?H2O?
MATLAB?
Mahout?
R?
Weka?scikit-learn?
LIBLINEAR?
![Page 58: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/58.jpg)
• It is built on Apache Spark, a fast and general
engine for large-scale data processing.
• Run programs up to 100x faster than
Hadoop MapReduce in memory, or
10x faster on disk.
• Write applications quickly in Java, Scala, or Python.
Why MLlib
![Page 59: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/59.jpg)
معماریMllib
![Page 60: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/60.jpg)
Data Ingestion and Storage
![Page 61: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/61.jpg)
• Data Ingestion:
- Browser, and mobile application event logs or accessing external
webAPIs
• Data Storage:
- HDFS, Amazon S3, and other filesystems; SQL databases such
as MySQL or PostgreSQL; distributed NoSQL data stores such as
HBase, Cassandra, and DynamoDB, …
Data Ingestion and Storage
![Page 62: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/62.jpg)
Initialization:
• random
• k-means++
• k-means||
Implementation of K-Means
![Page 63: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/63.jpg)
K-Means(Scala)
![Page 64: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/64.jpg)
K-Means(Python)
![Page 65: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/65.jpg)
Dimension Reduction(K-Means++)
![Page 66: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/66.jpg)
• Master loads (small) data file and
initializes models.
• Master broadcasts data and initial
models.
• At each iteration, updated models are
broadcast again.
• Works OK for small data.
• Lots of communication overhead - doesn’t
scale well.
Broadcast Everything
![Page 67: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/67.jpg)
Workers load data•
• Master broadcasts initial models
• At each iteration, updated models are
broadcast again
Much better scaling•
• Works on large datasets
• Works well for smaller models. (low K)
workers
Data Parallel
![Page 68: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/68.jpg)
Workers load data
Models are instantiated
at workers.
• At each iteration, models are shared
via join between workers.
• Much better
scalability.
• Works on large datasets
•
•
Fully Parallel
workers
![Page 69: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/69.jpg)
روشهای افزایش سرعت
![Page 70: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/70.jpg)
رشد استفاده ازHPC, Big Data, Deep Leraning
HPC, Big Data, Deep Learningهمگرایی بین
![Page 71: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/71.jpg)
معماریvon Neumannکامپیوتریکبرایعمومینیازمندیهای»موضوعباخود1945سالمقالهازپسکهمجارستانینخبهریاضیدان
.رسیدشهرتبه«عمومیHard“بانویسیبرنامهکهقدیمیهایکامپیوتربرخالفاومدلدر Wiring”دویهرشد،میانجام
.شوندمینگهداریالکترونیکیحافظهدرآننیازموردهایدادهوبرنامهدستورالعملهای
![Page 72: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/72.jpg)
دسته بندیFlynn
.توسط آقای مایکل فلین ارائه شد1966معروف ترین دسته بندی موجود برای انواع برنامه های کامپیوتری در سال
![Page 73: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/73.jpg)
Single Instruction, Single Data (SISD)
• A serial (non-parallel) computer
• Single Instruction: Only one instruction stream is
being acted on by the CPU during any one clock
cycle
• Single Data: Only one data stream is being used as
input during any one clock cycle
• Deterministic execution
• This is the oldest type of computer
• Examples: older generation mainframes,
minicomputers, workstations and single
processor/core PCs.
![Page 74: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/74.jpg)
Single Instruction, Multiple Data (SIMD) • A type of parallel computer
• Single Instruction: All processing units execute the same
instruction at any given clock cycle
• Multiple Data: Each processing unit can operate on a
different data element
• Two varieties: Processor Arrays and Vector Pipelines
• Examples:
• Processor Arrays: Thinking Machines CM-2, MasPar
MP-1 & MP-2, ILLIAC IV
• Vector Pipelines: IBM 9000, Cray X-MP, Y-MP & C90,
Fujitsu VP, NEC SX-2, Hitachi S820, ETA10
• Most modern computers, particularly those with graphics
processor units (GPUs) employ SIMD instructions and
execution units.
![Page 75: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/75.jpg)
Multiple Instruction, Single Data (MISD)• A type of parallel computer
• Multiple Instruction: Each processing unit operates
on the data independently via separate instruction
streams.
• Single Data: A single data stream is fed into multiple
processing units.
• Few (if any) actual examples of this class of parallel
computer have ever existed.
• Some conceivable uses might be:
• multiple frequency filters operating on a single
signal stream
• multiple cryptography algorithms attempting to
crack a single coded message.
![Page 76: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/76.jpg)
Multiple Instruction, Multiple Data (MIMD)
• A type of parallel computer
• Multiple Instruction: Every processor may be executing a
different instruction stream
• Multiple Data: Every processor may be working with a
different data stream
• Execution can be synchronous or asynchronous, deterministic
or non-deterministic
• Currently, the most common type of parallel computer - most
modern supercomputers fall into this category.
• Examples: most current supercomputers, networked parallel
computer clusters and "grids", multi-processor SMP
computers, multi-core PCs.
• Note: many MIMD architectures also include SIMD execution
sub-components
![Page 77: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/77.jpg)
پردازش در گذر زمان
![Page 78: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/78.jpg)
متد علمی رایانش
![Page 79: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/79.jpg)
![Page 80: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/80.jpg)
HPCدر گذر ایام
![Page 81: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/81.jpg)
الزامات استفا ده ازHPCدر محاسبات علمی
![Page 82: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/82.jpg)
![Page 83: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/83.jpg)
الیه های برنامه نویسی موازی
![Page 84: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/84.jpg)
ظهروشهای مختلف موازی سازی مبتنی بر حافShared Memoryحافظه اشتراکی•
تن مختلف یک کامپیوتر از یک حافظه مشترک برای خواندن و نوش( Core or Processor)پردازنده های . داده استفاده می کنند
OpenMP: مثال
Distributed Memoryحافظه توزیع شده •
سیستمهای مختلف حافظه اختصاصی خود را دارند و برای تبادل داده بین پردازنده سیستمها از .دریافت پیام استفاده می شود/ارسالMPI: مثال
Hybrid Memoryحافظه ترکیبی •
ترکیب دو روش باال مورد استفاده قرار می گیردPGAS: مثال
![Page 85: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/85.jpg)
حافظه اشتراکیShared Memory مرسوم ترین روش در موازی سازی است•پردازنده های مختلف مستقل هستند اما از طریق یک حافظه مشترک با هم•
تبادل داده می کنندتغییرات یک داده در حافظه توسط یک پردازنده قابل مشاهده برای سایر •
پردازنده ها می باشدو UMAماشینهادی حافظه مشترک از نظر نوع و سطح دسترسی به دو دسته •
NUMAتقسیم می شوند:SMP(Symmetric Multiprocessor)عمدتا با UMAحافظه های •
شناخته می شونده تمامی پردازنده ها با اتصاالت فیزیکی می توانند بNUMAدر ماشینهای •
حافظه سایر ماشینها دسترسی پیدا کنندهمه پردازنده ها زمان دسترسی یکسانی به حافظه ندارندNUMAدر •OpenMP, POSIX Thread, CUDA for GPU: مثال•
![Page 86: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/86.jpg)
حافظه توزیع شدهDistributed Memory
کندمیمتصلهمبهرامشترکحافظهباسیستمهای•داردوجودپردازشیهایگرهبهایشبکهاتصاالتبهنیاز•
,Ethernet:مثال• Infiniband, Omni-Path, Myrinet
یازنصورتدروکندمیاستفادهخوداختصاصیحافظهازپردازندههر•گیردمیصورتتبادلشبکهطریقازدیگر،پردازندهبادادهتبادلبه
عدادتسرعتبهتوانمیواستپذیرمقیاسحافظهوپردازندهنظراز•دادکاهش/افزایشرایکهربهمتعلقحافظهومحاسباتیهایگره
موجودافزارهاینرممجددنویسیکدبهنیازآنعمدهمعایباز•(MPIهایکتابخانهازاستفاده)است
عیباینزیادیحدودتاافزارنرمحوزهدراخیرهایپیشرفت•داردفاصلهآلایدهنقطهتاامااستساختهبرطرفرا
(3نسخهOpenMPوOpenACCکتابخانه):مثال•
![Page 87: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/87.jpg)
ترکیبیHybrid
در این مدل دو روش حافظه اشتراکی و توزیع شده با هم ترکیب می•شوند
است که داده ها به صورت Data Parallelرایج ترین آنها هم مدل •کلیه گره های RAMتوزیع شده و اشتراکی با آدرس دهی یکپارچه در
محاسباتی قرار می گیرندPGAS(Partitioned Global Address Space): مثال •
•Coarray Fortran, Unified Parallel C(UPC)
•Global Array, X10, Chapelآدرس دهی به حافظه یکپارچه است•در صورتی که پردازنده های مبداء و مقصد در یک سیستم باشند•
و در غیر اینصورت از حافظه توزیع(OpenMP)از حافظه اشتراکیاستفاده می کنند( MPI)شده
![Page 88: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/88.jpg)
چطور می توان نرم افزارها را سریعتر کرد؟
![Page 90: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/90.jpg)
سرعت پردازنده ها مسئلهPowerWall
Overclocking? Free cooling?
راه حلهای خنک کنندگی مرسوم برای پردازنده های با سرعت باال عملی نبوده و یا گران هستند
![Page 91: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/91.jpg)
انواع روشهای موازی سازی مرسوم
Bit Level Parallelism
Instruction Level Parallelism(ILP).1(Explicitly Parallel Instruction Computing (EPIC
.2Out of Order Execution/Register Renaming
.3Speculative Execution
.4Vectorization
Threading/Multi-threading
![Page 92: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/92.jpg)
روشBit Level Parallelism
درباالتریتواناییوکردهپیداافزایشهاپردازندهدرWordیاکلمهاندازهVLSIتکنولوژیتوسعهبا
.انددادهنشانخودازکاراییارتقاء
16پردازندهبهنسبتبیشتریسرعتبارابیتی32عدددوتوانندمیبیتی32هایپردازندهمثالبرای
دوبهراآنبایستمیبیتی32عدددوجمعبرایبیتی16پردازندهیککهچراکنند،جمعهمبابیتی
.شودمیمحاسباتیسربارایجادموجبامراینکهکندتقسیمپایینیوباالییبخش
![Page 93: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/93.jpg)
روشInstruction Level Parallelism(ILP)
درندارندگریکدیبهایدادهوابستگیوشونداجرایکدیگرباتوانندمیکهرادستوراتیکندمیسعیکامپایلرروشایندر.نمایداجراClockیاCycleیک
•Explicitly Parallel Instruction Computing (EPIC)دسترالعمل قابل اجرا است که هر چه تعداد دستورات غیروابسته به هم کمتر باشد درصد16بین دو تا Cycleاین روش در یک در
.باالتری از موازی سازی را ایجاد می کند•Out of Order Execution/Register Renaming
.وجود دارد که با تغییر نام ثبات ها می توان به این حالت دست یافت Cycleدر این روش امکان اجرای دستورات بیشتری در یک •Speculative Execution
.اجرای تمام یا بخشی از دستورات صرف نظر از اینکه زمان اجرای آن فرا رسیده است یا خیر•Vectorization
است که در آن یک دستور می Flynnاقای SIMD (Simple Instruction Multiple Data)این یکی از حاالت خاص از مدل SSE)دارای معماری مجموعه دستورالعمل های x86چیپ ست های . تواند روی چندین داده به صورت همزمان کار کند
(Streaming SIMD Extension برداری سازی به صورت خودکار پس از انتخاب پارامتر مناسب زمان کامپایل توسط . هستند.کامپایلر انجام می شود
![Page 94: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/94.jpg)
تعادل در روشهای پایپ الین وILPدر موازی سازی
دزمانی که تعداد پایپ الین ها افزایش می باید، تداخل بین دستورالعملها بیشتر می شو
![Page 95: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/95.jpg)
تعادل در اجرایSuperscalar وILPدر موازی سازی
جستجوی خودکار برای دستورالعملهای مستقل نیازمند منابع بیشتری است
![Page 96: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/96.jpg)
مسئله حافظه در روشOut-of-Order
بوسیله الگوی دسترسی به داده ها در برنامه های کاربردی محدود شده است
![Page 97: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/97.jpg)
هسته ها و بردارها: موازی سازی
:هسته زیاد و برداری سازیفرصت رشد بدون محدودیت اما نه به صورت خودکار را فراهم می کند
![Page 98: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/98.jpg)
موازی سازی در مسیر رو به جلوست
مسئله مصرف انرژیPower wall
مسئله موازی سازی در سطح دستوراتILP wall
مسئله حافظهMemory wall
!!نمایش باید ادامه پیدا کند
سخت افزارها از طریق موازی سازی در حال تکامل هستند•
!نرم افزار باید عقب بماند•
![Page 99: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/99.jpg)
معماری اینتل
![Page 100: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/100.jpg)
اینتلپلترفم های محاسباتی مبتنی بر معماری
![Page 101: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/101.jpg)
Intel Xeon Processors
▷ 1-, 2-, 4-way
▷ General-purpose
▷ Highly parallel (44 cores*)
▷ Resource-rich
▷ Forgiving performance
▷ Theor. ∼ 1.0 TFLOP/s in DP*
▷ Meas. ∼ 154 GB/s bandwidth*
* 2-way Intel Xeon processor, Broadwell architec-
ture (2016), top-of-the-line (e.g., E5-2699 V4)
![Page 102: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/102.jpg)
Intel Xeon Phi Processors (1st Gen)▷ PCIe add-in card
▷ Specialized for computing
▷ Highly-parallel (61 cores*)
▷ Balanced for compute
▷ Less forgiving
▷ Theor. ∼ 1.2 TFLOP/s in DP*
▷ Meas. ∼ 176 GB/s bandwidth*
* Intel Xeon Phi coprocessor, Knighs Corner ar-
chitecture (2012), top-of-the-line (e.g., 7120P)
![Page 103: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/103.jpg)
Intel Xeon Phi Processors (2nd Gen)
▷ Bootable or PCIe add-in card
▷ Specialized for computing
▷ Highly-parallel (72 cores*)
▷ Balanced for compute
▷ Less forgiving than Xeon
▷ Theor. ∼ 3.0 TFLOP/s in DP*
▷ Meas. ∼ 490 GB/s bandwidth*
* Intel Xeon Phi processor, Knighs Landing ar-
chitecture (2016), top-of-the-line (e.g., 7290P)
![Page 104: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/104.jpg)
کدهای مدرن
![Page 105: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/105.jpg)
یک کد برای همه پلتفرم ها
![Page 106: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/106.jpg)
رایانش و محاسبات در علم و مهندسی
![Page 107: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/107.jpg)
چه کسانی بهHPCنیاز دارند؟
the high end of"به شکل تاریخی رایانش موازی با عنوان computing" و از آن برای حل و شناخته می شود. مدل سازی مسائل سخت در بسیاری از حوزه های مهندسی و علم استفاده می شود
• Atmosphere, Earth, Environment
• Physics - applied, nuclear, particle, condensed matter, high pressure, fusion, photonics
• Bioscience, Biotechnology, Genetics
• Chemistry, Molecular Sciences
• Geology, Seismology
• Mechanical Engineering – from prosthetics to spacecraft
• Electrical Engineering, Circuit Design, Microelectronics
• Computer Science, Mathematics
• Defense, Weapons
![Page 108: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/108.jpg)
چه کسانی بهHPC ادامه-نیاز دارند؟
جم داده رشد زیاد ح. امروزه حوزه های تجاری نیز برای بسیاری از تجزیه و تحلیلهای خود به این بستر محتاج شده اند:از جمله این حوزه ها می توان به موارد زیر اشاره کرد. ها باعث شده است که نیاز به پردازش بیشتر حس شود
• "Big Data", databases, data mining• Oil exploration• Web search engines, web based business services• Medical imaging and diagnosis• Pharmaceutical design• Financial and economic modeling• Management of national and multi-national corporations• Advanced graphics and virtual reality, particularly in the entertainment industry• Networked video and multi-media technologies• Collaborative work environments
![Page 109: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/109.jpg)
مناطق بهینه سازی
Node-level---------------------------------------------------------------------Cluster-level
![Page 110: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/110.jpg)
لتجربه نوسازی و بهینه سازی کدهای مرسوم و معمو
![Page 111: لاگچ هدام رد اهدربراک :کیزیف رد ینیشام یریگدای ......ینیشام یریگای ینابم اتی{ گیب و ینیشام یریگ{ای میهافم](https://reader036.vdocuments.net/reader036/viewer/2022062602/5edf6952ad6a402d666ac260/html5/thumbnails/111.jpg)