بعد از دیدن این آموزش قادر خواهید بود که با اصول اولیه تجزیه و تحلیل و آماده‌سازی داده‌ها با پایتون (Python) آشنا شوید، نحوه ورود داده از فایل‌هایی مانند: XML ,JSON و CSV را یاد بگیرید و همچنین از کتابخانه Pandas در پایتون برای تجزیه و تحلیل داده‌ها، گروهبندی و اتصال داده‌ها استفاده کنید، بتوانید داده‌ها را از وب استخراج کرده، نحوه شناسایی و پاک‌سازی داده‌ها را فراگرفته و از کتابخانه‌هایی مانند: Matplotlib برای مصورسازی داده‌ها استفاده نمایید.
مهندس فرشید شیرافکن دارای مدرک کارشناسی ارشد مهندسی کامپیوتر گرایش نرم‌افزار بوده و در حال حاضر دانشجوی دکترای بیوانفورماتیک دانشگاه تهران هستند. ایشان از مدرسین نمونه در زمینه ارائه و آموزش دروس دانشگاهی انتخاب شده‌اند.
چکیده آموزش
توضیحات تکمیلی
امروزه یادگیری روش‌های آماده‌سازی داده برای هر فردی که قصد ورود به حوزه علوم داده (Data Science) را دارد، یک نیاز اساسی محسوب می‌شود. آماده‌سازی داده‌ها، تبدیل داده‌ها از یک قالب داده خام به ساختار دیگر، جهت ایجاد داده با‌ارزش‌تر است. آماده‌سازی داده، شامل: تجسم داده‌ها، تجمیع داده، آموزش مدل آماری و موارد دیگر است.
بعد از دیدن این آموزش قادر خواهید بود که با اصول اولیه تجزیه و تحلیل و آماده‌سازی داده‌ها با پایتون (Python) آشنا شوید، نحوه ورود داده از فایل‌هایی مانند: XML ,JSON و CSV را یاد بگیرید و همچنین از کتابخانه Pandas در پایتون برای تجزیه و تحلیل داده‌ها، گروهبندی و اتصال داده‌ها استفاده کنید، بتوانید داده‌ها را از وب استخراج کرده، نحوه شناسایی و پاک‌سازی داده‌ها را فراگرفته و از کتابخانه‌هایی مانند: Matplotlib برای مصورسازی داده‌ها استفاده نمایید.
فهرست سرفصل‌ها و رئوس مطالب مطرح شده در این مجموعه آموزشی، در ادامه آمده است:
- درس یکم: آشنایی با پکیج NumPy
- نصب آناکوندا (Anaconda) و ژوپیتر نوت‌بوک (Jupyter Notebook)
- نصب پکیج NumPy
- مقایسه سرعت کار آرایه‌های NumPy با آرایه‌های پایتون
- کار با آرایه‌های NumPy
- کار با swapaxes
- کار با transpose
- توابع عمومی ()sqrt(), exp(), modf
- دستور where
- متدهای ریاضی amin, mean, average
- متدهای آماری VAR, Std, Median, Quantile, Percentile
- تابع cumsum و sum
- تابع any و all
- تابع unique
- تابع sort
- تابع in1d
- تابع save و load
- ذخیره آرایه در فایل
- کار با random.sample, rand, randint, randn
- تابع inner, outer
- ضرب دو ماتریس با dot
- معکوس ماتریس با inv
- تجزیه ماتریس با qr
- درس دوم: کار با سری‌ها در پکیج Pandas
- تعریف سری
- شاخص‌گذاری مجدد (Reindexing)
- دسترسی به عناصر سری
- کار با iloc
- تابع drop
- تابع pop
- کار با isna, notna, isin
- کپی گرفتن از سری
- مرتب‌سازی مقادیر سری با sort_values
- تابع rank
- تابع is_unique
- تابع describe
- تابع count
- تابع duplicated
- حذف داده‌های تکراری
- اضافه کردن عبارت به قبل یا بعد از اندیس سری
- عملیات ریاضی بر روی دو سری
- بررسی مساوی بودن دو سری با eq
- کار با ne, qt, qe, lt, le
- تابع argmax و idxmax
- جمع و ضرب انباشته با cumsum و cumprod
- تابع ()value_counts
- تابع ()unique
- تابع ()append و ()combine
- تابع ()apply
- تابع ()transform
- تابع ()agg
- تابع ()nlargest
- گروهبندی
- تابع ()between
- حذف داده‌های نهست با ()dropna
- تبدیل سری به آرایه و دیکشنری
- جایگزینی مقادیر در سری
- تابع ()repeat
- کار با سری‌های چند ایندکسی
- درس سوم: کار با دیتافریم‌ها در پکیج Pandas
- ایجاد دیتافریم
- کار با in
- کار با اندیس در دیتافریم
- تفاوت loc با iloc
- تابع ()iat
- تابع ()reindex
- تابع ()sort_values
- تابع ()sort_index
- تابع ()idxmax
- عمل ()transpose
- اعمال عبارت lambda
- آشنایی با apply, map, applymap
- حذف سطر و ستون از دیتافریم
- بررسی خالی بودن دیتافریم
- عملیات ریاضی بر روی دیتافریم
- کار با index.name
- جمع دیتافریم با سری
- شاخص‌های سلسله‌مراتبی
- تابع ()unstack
- تابع ()swaplevel
- درس چهارم: نوشتن و خواندن در فایل
- کار با فایل دارای پسوند csv
- کار با فایل دارای پسوند xlsx
- کار با فایل دارای پسوند json
- کار با فایل دارای پسوند html
- کار با فایل دارای پسوند xml
- کار با فایل دارای پسوند pkl
- کار با فایل‌های HDF
- ارتباط با دیتابیس
- معرفی SQLite
- ایجاد جدول و کار با آن (Select, Insert)
- گرفتن اطلاعات از آدرس URL
- درس پنجم: پاک‌سازی داده‌ها
- کار با داده‌های گمشده (Missing Data)
- تابع ()dropna
- تابع ()fillna
- حذف داده‌های تکراری با ()drop_duplicates
- جایگزینی مقادیر
- تابع cut
- کشف داده‌های پرت (Detectiing Outliers)
- تابع ()take
- تابع ()sample
- تابع ()get_dummies
- درس ششم: ادغام دیتافریم‌ها
- ادغام دو دیتافریم با تابع ()merge
- چند مثال
- ادغام روی ایندکس‌ها
- ادغام دو دیتافریم با تابع join
- اضافه کردن یک دیتافریم به انتهای دیتافریم دیگر با تابع concat
- اضافه کردن یک سری به انتهای سری دیگر با تابع concat
- تابع ()combine_first
- تابع pivot
- تابع melt
- درس هفتم: مصورسازی داده‌ها با پکیج Pyplot
- تابع plot
- رسم نمودار نقطه‌ای با Scatter
- رسم نمودار میله‌ای با Bar
- رسم هیستوگرام با Hist
- رسم نمودار دایره‌ای با Pie
- رسم نمودار جعبه‌ای با Boxplot
- رسم پلات برای دیتافریم
- رسم نمودار جعبه‌ای با پکیج Seaborn
- معرفی دیتابیس Iris
- آشنایی با Violinplot
- درس هشتم: گروهبندی
- اعمال groupby بر روی سری
- مثال
- اعمال groupby بر روی دیتافریم
- گروهبندی روی سطح ایندکس‌ها
- تابع transform
- مثال (گروهبندی بر روی دیتافریم Iris)
- رده (Category)
- درس نهم: سری‌های زمانی
- کار با datetime
- مهر زمانی (Timestamp)
- آشنایی با date_range
- آشنایی با period_range
- کار با to_datetime
- معرفی Hour و Minute
- معرفی Day و MonthEnd
- معرفی Rollback و Rollforward
- سری زمانی
- کار با DatetimeIndex
- معرفی shift
- کار با resample
- درس دهم: پروژه
- تعیین بهترین فیلم‌های سینمایی از نظر آقایان و خانم‌ها
- تعیین نام‌های پر‌تکرار ثبت شده برای نوزادان
مفید برای رشته‌های
- مهندسی کامپیوتر - نرم‌افزار
- داده‌کاوی
آنچه در این آموزش خواهید دید:
نرم افزارهای مرتبط با آموزش
پیش نمایش‌ها
۱.
آشنایی با پکیج NumPy
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید (دانلود پیش‌نمایش - حجم: ۲۵ مگابایت -- (کلیک کنید +))
۲.
کار با سری‌ها در پکیج Pandas
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید (دانلود پیش‌نمایش - حجم: ۱۲ مگابایت -- (کلیک کنید +))
۳.
کار با دیتافریم‌ها در پکیج Pandas
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید (دانلود پیش‌نمایش - حجم: ۷۹ مگابایت -- (کلیک کنید +))
۴.
نوشتن و خواندن در فایل
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۵.
پاک‌سازی داده‌ها
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۶.
ادغام دیتافریم‌ها
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۷.
مصورسازی داده‌ها با پکیج Pyplot
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۸.
گروهبندی
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۹.
سری‌های زمانی
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۱۰.
پروژه
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
راهنمای سفارش آموزش‌ها
.svg)
در مورد این آموزش یا نحوه تهیه آن سوالی دارید؟
- با شماره تلفن واحد مخاطبین ۵۷۹۱۶۰۰۰ (پیش شماره ۰۲۱) تماس بگیرید. - تمام ساعات اداری
- با ما مکاتبه ایمیلی داشته باشید (این لینک). - میانگین زمان پاسخ دهی: ۳۰ دقیقه
اطلاعات تکمیلی
| نام آموزش | آموزش تجزیه و تحلیل و آماده سازی داده ها با پایتون |
|---|---|
| ناشر | فرادرس |
| کد آموزش | FVDM9507 |
| مدت زمان | ۹ ساعت و ۵۴ دقیقه |
| زبان | فارسی |
| نوع آموزش | آموزش ویدئویی (لینک دانلود) |
| حجم دانلود | ۷۶۰ (کیفیت ویدئو HD با فشرده سازی انحصاری فرادرس) |
نظرات
حامد
من در چند دوره از اموزش های پایتون coursera و Udemy شرکت کردم و مدرک هم گرفتم ولی هیچ کدوم به اندازه استاد شیرافکن واضح و پرمحتوا با نکات عالی تدریس نکردند. ای کاش پلترفرم های حل مساله و تمرین که در coursera وجود داره به تدریس دلنواز استاد شیرافکن اضافه می شد تا همه چی تکمیل باشه. باز هم ممنون از استاد شیرافکن و سایت فرادرس، بابت تولید محتوای مفیدشون.
فرشید شیرافکن
خیلی ممنون. من زمان زیادی برای تهیه آموزش هایم در فرادرس می گذارم . فرادرس بستری تهیه کرده که در رویا های من بوده. همیشه دوست داشتم اطلاعاتم را در اختیار عزیزانی که به آن علاقمند هستند قرار دهم و این آرزوی من را فرادرس برآورده کرد. شاید این امکانی که شما هم فرمودید، فرادرس بعدا اضافه کند. موفق باشید.
علیرضا
بسیار خوشحالم که دکتر شیرافکن مدرس این آموزش هستند. ایشان دلسوزانه تمام دانش خودشون رو در اختیار دانشجویان قرار میدن. تشکر از فرادرس.