×
۱۳۰,۰۰۰ تومان

آموزش آپاچی کافکا - تحلیل داده های جریانی با Apache Kafka

آموزش آپاچی کافکا - تحلیل داده های جریانی با Apache Kafka

هزینه آموزش
۱۳۰,۰۰۰ تومان

تعداد دانشجو
۳۱۳ نفر
مدت زمان
۵ ساعت و ۵۲ دقیقه
محتوای این آموزش
تضمین کیفیت
۲ بازخورد (مشاهده نظرات)

یکی از بزرگ‌ترین چالش‌های همراه با کلان داده، تحلیل داده‌ها است، اما پیش از تحلیل، ابتدا باید بتوان اطلاعات مورد نیاز را برای سیستم جمع‌آوری نموده و پس از پردازش، اطلاعات را در دسترس کاربران قرار داد، اینجا است که آپاچی کافکا (Apache Kafka) به کار می‌آید. کافکا امکان کار با Flume, Flafka, Spark Streaming, Storm, HBase, Flink و Spark را برای ورودی بلادرنگ، تحلیل و پردازش جریان‌های داده فراهم می‌کند. کافکا جریان داده‌ای است که برای تغذیه دریاچه‌های کلان داده Apache Hadoop به کار می‌رود.

آموزش آپاچی کافکا - تحلیل داده های جریانی با Apache Kafka

تعداد دانشجو
۳۱۳ نفر
مدت زمان
۵ ساعت و ۵۲ دقیقه
هزینه آموزش
۱۳۰,۰۰۰ تومان
محتوای این آموزش
۲ بازخورد (مشاهده نظرات)

سعید فضلعلی

دانشجوی دکتری تخصصی مدیریت فناوری اطلاعات (IT) - کسب و کار هوشمند

ایشان دارای سابقه فعالیت در حوزه فناوری اطلاعات و سیستم‌های اطلاعاتی هستند و پایان‌نامه کارشناسی ارشد ایشان ارائه مدل بلوغی برای پروژه‌های ERP با مطالعه بر روی عوامل بحرانی موفقیت با استفاده از روش ترکیبی دیمتل خاکستری است.

توضیحات تکمیلی

توضیحات تکمیلی

یکی از بزرگ‌ترین چالش‌های همراه با کلان داده، تحلیل داده‌ها است، اما پیش از تحلیل، ابتدا باید بتوان اطلاعات مورد نیاز را برای سیستم جمع‌آوری نموده و پس از پردازش، اطلاعات را در دسترس کاربران قرار داد، اینجا است که آپاچی کافکا (Apache Kafka) به کار می‌آید. کافکا برای مدیریت جریان بلادرنگ داده، جمع‌آوری داده‌های کلان یا تحلیل بلادرنگ داده و یا هر دو به کار گرفته می‌شود.

آپاچی کافکا ابتدا در سال 2011 در لینکدین (LinkedIn) به منظور رفع مشکل کندی زمان ضبط داده‌ها از روی وب‌سایت و همچنین مدیریت کردن سیستم‌های پردازش رویدادهای بلادرنگ توسعه داده شد. در نهایت این سیستم به بنیاد نرم‌افزار آپاچی اهدا شد. جالب است بدانید که امروزه یک‌ سوم از شرکت‌هایی که نام آن‌ها در فهرست Fortune 500 قرار دارد، از کافکا استفاده می‌کنند. این فهرست، 10 شرکت اول گردشگری، 7 بانک از فهرست 10 بانک برتر، 8 شرکت نخست بیمه از مجموع 10 شرکت و 9 شرکت از مجموع 10 شرکت برتر حوزه تلکام را دربر می‌گیرد.

کافکا امکان کار با Flume, Flafka, Spark Streaming, Storm, HBase, Flink و Spark را برای ورودی بلادرنگ، تحلیل و پردازش جریان‌های داده فراهم می‌کند. کافکا جریان داده‌ای است که برای تغذیه دریاچه‌های کلان داده Apache Hadoop به کار می‌رود. بروکرهای کافکا، جریان‌های حجیم پیام را به منظور تحلیل آن‌ها در هدوپ (Apache Hadoop) یا اسپارک پشتیبانی می‌نمایند. سادگی عملیات کافکا یکی از دلایل گسترش روزافزون کاربرد می‌تواند باشد، اما دلیل اصلی عمومیت آن، کارایی بسیار مناسب آن است.

 

فهرست سرفصل‌ها و رئوس مطالب مطرح شده در اين مجموعه آموزشی، در ادامه آمده است:
  • درس یکم: مقدمه‌ای بر کلان داده و آپاچی کافکا
    • تغییرات ساختار داده در طول زمان
    • ویژگی‌های کلان داده
    • تکنولوژی‌های کلان داده
    • Analytics کلان داده
    • مزایای Analytics کلان داده
    • درباره Messaging System
    • نحوه حل مساله توسط کافکا
    • ویژگی‌های کافکا
    • مقایسه کافکا و دیگر سیستم‌های Messaging
    • مفاهیم کافکا
    • اجزای کافکا
    • معماری کافکا
    • کاربردهای کافکا
  • درس دوم: نصب آپاچی کافکا
    • اولین قدم
    • نصب Kafka Broker
    • پیکربندی Broker
    • انتخاب سخت‌افزار
    • کافکا بر روی کلاد
    • کلاسترهای کافکا
  • درس سوم: کافکا پرودیوسر (Kafka Producer)
    • پیکربندی Single node multi cluster
    • مطالعه سیستم پردازش کارت اعتباری
    • برنامه‌های مختلف تولید پیام برای کافکا
    • سناریوهای متفاوت Kafka Producer
    • معماری کلان Kafka Producer
    • برخی از مهم‌ترین پیکربندی‌های Kafka Producer
    • ایجاد Kafka Producer
    • انواع مختلف خطا
    • روش‌های متفاوت ارسال پیام
    • ویژگی‌های دیگر برای پیکربندی Kafka Producer
    • Serializer
    • Partition
  • درس چهارم: کافکا کانزیومر (Kafka Consumer)
    • Standalone Consumer
    • Kafka Consumer Group
    • Partition Rebalance
    • فرایند اختصاص پارتیشن به بروکرها
    • ایجاد یک Kafka Consumer
    • Subscribing to Topics
    • The Poll Loop
    • ایجاد یک Standalone Consumer
    • مهم‌ترین تنظیمات Kafka Consumer
    • Commits and Offsets
    • Rebalance Listeners
    • خروج از Poll Loop
    • Deserializers
  • درس پنجم: کافکا اینترنال (Kafka Internals)
    • Kafka Internals
    • Cluster Membership and controller
    • نحوه انتخاب کلاستر کافکا
    • معماری کلاستر کافکا
    • درک مفاهیم Core کافکا – Replication
    • چگونگی کارکرد Request‌ها در کافکا
  • درس ششم: کافکا اینترنال پراسسینگ
    • Stream Processing
    • پارادایم‌های برنامه‌نویسی
    • مفاهیم پردازش جریان
    • الگوهای طراحی پردازش جریان
    • معماری جریان در کافکا
    • Kafka Stream API

 

مفید برای
  • مهندسی کامپیوتر - نرم‌افزار
  • مهندسی فناوری اطلاعات (IT)

پیش نیاز

آشنایی با کلان داده

آنچه در این آموزش خواهید دید:

آموزش ویدئویی مورد تائید فرادرس
فایل PDF یادداشت‌ های ارائه مدرس

نرم افزارهای مرتبط با آموزش

Apache HTTP Server, ZooKeeper 3.5.5, Java SE Runtime Environment 8.0.221, Kafka v2.12-2.2.0

پیش نمایش‌ها

۱. مقدمه‌ای بر کلان داده و آپاچی کافکا
۲. نصب آپاچی کافکا
۳. کافکا پرودیوسر
۴. کافکا کانزیومر
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۵. کافکا اینترنال
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۶. کافکا اینترنال پراسسینگ
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
این آموزش شامل ۹ جلسه ویدئویی با مجموع ۵ ساعت و ۵۲ دقیقه است.
با تهیه این آموزش، می‌توانید به همه بخش‌ها و جلسات آن، دسترسی داشته باشید.

راهنمای سفارش آموزش‌ها

آیا می دانید که تهیه یک آموزش از فرادرس و شروع یادگیری چقدر ساده است؟

(راهنمایی بیشتر +)

در مورد این آموزش یا نحوه تهیه آن سوالی دارید؟
  • با شماره تلفن واحد مخاطبین ۵۷۹۱۶۰۰۰ (پیش شماره ۰۲۱) تماس بگیرید. - تمام ساعات اداری
  • با ما مکاتبه ایمیلی داشته باشید (این لینک). - میانگین زمان پاسخ دهی: ۳۰ دقیقه


اطلاعات تکمیلی

نام آموزش آموزش آپاچی کافکا - تحلیل داده های جریانی با Apache Kafka
ناشر فرادرس
شناسه اثر ۸–۱۲۴۵۲–۰۷۸۷۸۵ (ثبت شده در مرکز رسانه‌های دیجیتال وزارت ارشاد)
کد آموزش FVIT9801
مدت زمان ۵ ساعت و ۵۲ دقیقه
زبان فارسی
نوع آموزش آموزش ویدئویی (نمایش آنلاین + دانلود)
حجم دانلود ۴۸۵ مگابایت (کیفیت ویدئو HD با فشرده سازی انحصاری فرادرس)


تضمین کیفیت و گارانتی بازگشت هزینه
توجه: کیفیت این آموزش توسط فرادرس تضمین شده است. در صورت عدم رضایت از آموزش، به انتخاب شما:
  • ۱۰۰ درصد مبلغ پرداختی در حساب کاربری شما شارژ می‌شود.
  • و یا ۷۰ درصد مبلغ پرداختی به حساب بانکی شما بازگشت داده می‌شود.
آموزش‌های مرتبط با آموزش آپاچی کافکا - تحلیل داده های جریانی با Apache Kafka


آموزش‌های پیشنهادی برای شما


نظرات

تا کنون ۳۱۳ نفر از این آموزش استفاده کرده اند و ۲ نظر ثبت شده است.
محمد
محمد
۱۴۰۰/۱۰/۱۵

به صورت کلی درس دادند ولی همونم خیلی عالیه. خودشون هم گفته بودند که زمان زیادی میبره که مسلط بشین.

رضا
رضا
۱۳۹۸/۰۲/۱۴

فوق العادست

برچسب‌ها:
Analytics کلان داده | Apache Hadoop | Apache Kafka | Broker Configuration | Commits and Offsets in Kafka | Kafka Consumer | Kafka Consumer Group | Kafka Internals | Kafka Producer | Kafka Producer Configuration | Kafka Stream API | Kafka Stream Processing | Messaging System | Partition Rebalance | Partition چیست؟ | Rebalance Listeners in Kafka | Request‌ in Kafka | Serializer چیست؟ | Single node multi cluster | Standalone Consumer | Subscribing to Topics | The Poll Loop | آپاچی کافکا | آموزش آپاچی کافکا | آنالیتیکز کلان داده | اجزای کافکا | انتخاب سخت افزار نصب کافکا | انواع مختلف خطا در کافکا | اولین قدم در آپاچی کافکا | ایجاد Kafka Producer | ایجاد یک Kafka Consumer | بررسی کلان داده | پارادایم ‌های برنامه ‌نویسی کافکا | پردازش جریان داده کافکا | پردازش جریان‌ های داده | تحلیل بلادرنگ داده | تحلیل جریان‌ های داده | تغییرات ساختار داده در طول زمان | تکنولوژی‌ های کلان داده | تولید پیام برای کافکا | جمع‌ آوری داده‌ های کلان | سناریوهای متفاوت Kafka Producer | کاربردهای کافکا | کافکا بر روی کلاد | کلاسترهای کافکا | مدیریت جریان بلادرنگ داده | مزایای Analytics کلان داده | معماری جریان در کافکا | معماری کافکا | معماری کلاستر کافکا | معماری کلان Kafka Producer | مفاهیم کافکا | مهم ترین تنظیمات Kafka Consumer | نحوه انتخاب کلاستر کافکا | نحوه حل مساله توسط کافکا | نصب Kafka Broker | نصب آپاچی کافکا | ویژگی های کافکا | ویژگی‌ های کلان داده
مشاهده بیشتر مشاهده کمتر
×
فهرست جلسات ۹ جلسه ویدئویی
×