این دوره به منظور بررسی مسائل موجود در حوزه Big Data و ارائه راه حل برای آنها با استفاده از ابزار قدرتمند آپاچی اسپارک طراحی گردیده است. بخش هایی نظیر پردازش ها جریانی، کار با الگوریتم های یادگیری ماشین و تحلیل داده های رابطه ایی با استفاده از ابزار اسپارک، مواردی هستند که در کلاس مورد بررسی قرار می گیرند.
همچنین از اسکالا به عنوان زبان توسعه برنامه ها استفاده می شود. به همین منظور بخشی از کلاس به یادگیری زبان اسکالا و کتابخانه های موجود در این زبان برنامه نویسی که مربوط به تحلیل داده های می باشند، اختصاص دارد.
مخاطبان دوره
علاقه مندان به مباحث Big Data
دانشجویان و فارغ التحصیلان رشته های کامپیوتر و فناوری اطلاعات
علاقه مندان به مفاهیم سیستم ها و برنامه نویسی توزیع شده
علاقهمندان به زبان اسکالا و سکوی آپاچی اسپارک
توانایی پس ازگذراندن دوره
توسعه برنامه ها مبتنی بر زبان اسکالا و حل مسئله های کلان داده با استفاده از ابزار آپاچی اسپارک
سرفصلهای دوره
آماده سازی محیط کدنویسی و اجرا
نصب و راه اندازی محیط، IDE های مناسب برای برنامه نویسی
ایجاد، کامپایل و تست پروژه با استفاده از ابزار SBT
آشنایی با مقدمات زبان اسکالا
انواع داده در اسکالا
متغیرهای Val و Var
ساختارهای تکرار و تصمیم
Pass By Name
Default Arguments
Named Arguments
توابع در اسکالا
Functions
Closures
Functional Objects
تعریف کلاس در زبان اسکالا
ایجاد کلاس
سازنده ها
سطوح دسترسی
Case Class
مفهوم شی در اسکالا
Traits
مفهوم ارث بری
مجموعه ها در اسکالا
List
Set
Map
Tuple
For Loop
Partial Functions
معرفی و بررسی کتابخانه جبرخطی Breeze
بررسی پروژه آپاچی Spark
راه اندازی و پیکربندی کلاستر Spark
توسعه و اجرای برنامه های نمونه با استفاده از پروژه Spark
بررسی و کار با مفاهیم RDD، Transformation و Action
کار با DataFrame ها و Dataset ها در اسپارک
توسعه برنامه با استفاده از مولفه SparkSQL، SparkStreaming و MLib در پروژه اسپارک