آپاچی اسپارک با ارائه پلتفرمی که پردازش را در داخل حافظه اصلی تجزیه و تحلیل می‌کند و با پشتیبانی از قابلیت‌های MapReduce، مهم‌ترین موتور پردازش توزیع شده در حال حاضر است که سرعت ۱۰۰ برابری نسبت به هدوپ دارد. در این آموزش با آموزش آپاچی اسپارک تلاش می‌شود که افراد را برای تبدیل شدن به یک مهندس کلان داده آماده نماید. در این آموزش، ابتدا ضرورت تجزیه و تحلیل کلان‌داده مورد توجه قرار گرفته و سپس آپاچی اسپارک به عنوان محبوب‌ترین پلتفرم تجزیه و تحلیل کلان‌داده معرفی شده است. نصب آپاچی اسپارک، کار کردن با RDDها و برنامه‌نویسی RDDهای جفت و ذخیره و بازیابی داده‌ها تدریس شده است. در پایان این آموزش توانایی برنامه‌نویسی توزیع شده با آپاچی اسپارک را خواهید داشت.
آموزش مقدماتی آپاچی اسپارک برای پردازش کلان داده
حوزه تخصصی پژوهشی ایشان داده‌کاوی، تحلیل داده‌های حجیم و پایان‌نامه دکتری ایشان در حوزه تحلیل شبکه‌های اجتماعی است. از سال 86 در دانشگاه‌های مختلف تدریس داشته‌اند و به زبان‌های برنامه‌نویسی پاسکال، C#, C++, C، جاوا و پایتون و R تسلط دارند.
توضیحات تکمیلی
با پیشرفت تکنولوژی و رشد روزافزون داده‌ها، تجزیه و تحلیل داده‌ها و استخراج دانش از آن‌ها بسیار حائز اهمیت شده است. با توجه به حجم داده‌ها، ابزارهایی برای تجزیه و تحلیل داده‌های کلان بسیار مهم است و ابزارهایی برای تحلیل داده‌ها در سطح کلان ارائه شده است. در راستای پردازش توزیع شده داده‌ها، پلتفرم‌هایی مانند MapReduce معرفی شد. هر چند MapReduce و هدوپ (Apache Hadoop) توانایی بسیار زیادی در تجزیه و تحلیل داده‌های کلان داشته‌اند اما مشکل اساسی آن‌ها ذخیره نتایج میانی در هارد دیسک است که به شدت سرعت پردازش را کاهش می‌دهد.
آپاچی اسپارک (Apache Spark) با ارائه پلتفرمی که پردازش را در داخل حافظه اصلی تجزیه و تحلیل می‌کند و با پشتیبانی از قابلیت‌های MapReduce، مهم‌ترین موتور پردازش توزیع شده در حال حاضر است که سرعت ۱۰۰ برابری نسبت به هدوپ دارد. در این آموزش با آموزش آپاچی اسپارک تلاش می‌شود که افراد را برای تبدیل شدن به یک مهندس کلان‌داده آماده نماید.
در این آموزش، ابتدا ضرورت تجزیه و تحلیل کلان‌داده مورد توجه قرار گرفته و سپس آپاچی اسپارک به عنوان محبوب‌ترین پلتفرم تجزیه و تحلیل کلان‌داده معرفی شده است. نصب آپاچی اسپارک، کار کردن با RDDها و برنامه‌نویسی RDDهای جفت و ذخیره و بازیابی داده‌ها تدریس شده است. در پایان این آموزش توانایی برنامه‌نویسی توزیع شده با آپاچی اسپارک را خواهید داشت.
فهرست سرفصل‌ها و رئوس مطالب مطرح شده در اين مجموعه آموزشی، در ادامه آمده است:
- فصل یکم: مقدمه‌ای بر آپاچی اسپارک
- درس یکم: مفهوم اسپارک
- درس دوم: پشته اسپارک
- درس سوم: تاریخچه مختصری از اسپارک
- فصل دوم: دانلود و نصب آپاچی اسپارک
- درس چهارم: دانلود و نصب آپاچی اسپارک
- درس پنجم: آشنایی با پوسته‌های آپاچی اسپارک
- درس ششم: توابع در آپاچی اسپارک
- فصل سوم: برنامه‌نویسی با RDD
- درس هفتم: اصول RDDها
- درس هشتم: عملیات‌های RDD
- درس نهم: تفاوت تبدیل‌ها و عملیات‌های RDD - بخش یکم
- درس دهم: تفاوت تبدیل‌ها و عملیات‌های RDD - بخش دوم
- درس یازدهم: ساخت RDD
- درس دوازدهم: مثالی از تبدیل‌ها
- درس سیزدهم: مثالی از عملیات‌های RDD
- درس چهاردهم: عملیات و تبدیلات پرکاربرد
- درس پانزدهم: عملیات‌های شبه مجموعه
- درس شانزدهم: عملیات ضرب دکارتی
- درس هفدهم: عملیات Reduce
- فصل چهارم: برنامه‌نویسی RDDهای جفت کلید - مقدار
- درس هجدهم: ساخت RDDهای جفت
- درس نوزدهم: تبدیل‌ها روی RDDهای جفت
- درس بیستم: مثال شمارش کلمات
- درس بیست‌ویکم: عملیات موجود روی RDDهای جفت
- فصل پنجم: ذخیره و بازیابی اطلاعات
- درس بیست‌و‌دوم: ذخیره و بازیابی اطلاعات - بخش یکم
- درس بیست‌و‌سوم: ذخیره و بازیابی اطلاعات - بخش دوم
مفید برای
- مهندسی کامپیوتر - نرم‌افزار
- مهندسی فناوری اطلاعات (IT)
پیش نیاز
آنچه در این آموزش خواهید دید:
نرم افزارهای مرتبط با آموزش
پیش نمایش‌ها
۱.
مفهوم اسپارک
۲.
پشته اسپارک
۳.
تاریخچه مختصری از اسپارک
۴.
دانلود و نصب آپاچی اسپارک
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۵.
آشنایی با پوسته‌های آپاچی اسپارک
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۶.
توابع در آپاچی اسپارک
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۷.
اصول RDDها
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۸.
عملیات‌های RDD
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۹.
تفاوت تبدیل‌ها و عملیات‌های RDD - بخش یکم
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۱۰.
تفاوت تبدیل‌ها و عملیات‌های RDD - بخش دوم
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
راهنمای سفارش آموزش‌ها
.svg)
در مورد این آموزش یا نحوه تهیه آن سوالی دارید؟
- با شماره تلفن واحد مخاطبین ۵۷۹۱۶۰۰۰ (پیش شماره ۰۲۱) تماس بگیرید. - تمام ساعات اداری
- با ما مکاتبه ایمیلی داشته باشید (این لینک). - میانگین زمان پاسخ دهی: ۳۰ دقیقه
اطلاعات تکمیلی
| نام آموزش | آموزش مقدماتی آپاچی اسپارک برای پردازش کلان داده |
|---|---|
| ناشر | فرادرس |
| شناسه اثر | ۸–۱۲۴۵۲–۰۸۰۰۷۵ (ثبت شده در مرکز رسانه‌های دیجیتال وزارت ارشاد) |
| کد آموزش | FVSPRK001 |
| مدت زمان | ۴ ساعت و ۲۳ دقیقه |
| زبان | فارسی |
| نوع آموزش | آموزش ویدئویی (نمایش آنلاین + دانلود) |
| حجم دانلود | ۳۴۸ مگابایت (کیفیت ویدئو HD با فشرده سازی انحصاری فرادرس) |
- ۱۰۰ درصد مبلغ پرداختی در حساب کاربری شما شارژ می‌شود.
- و یا ۷۰ درصد مبلغ پرداختی به حساب بانکی شما بازگشت داده می‌شود.
نظرات
مدرس نه تنها مسلط به موضوع هستن بلکه قدرت کلام خیلی خوبی دارند. واقعا از خریدم راضی بودم