بعد از دیدن این آموزش قادر خواهید بود که با اصول اولیه تجزیه و تحلیل و آماده‌سازی داده‌ها با پایتون (Python) آشنا شوید، نحوه ورود داده از فایل‌هایی مانند: XML ,JSON و CSV را یاد بگیرید و همچنین از کتابخانه Pandas در پایتون برای تجزیه و تحلیل داده‌ها، گروهبندی و اتصال داده‌ها استفاده کنید، بتوانید داده‌ها را از وب استخراج کرده، نحوه شناسایی و پاک‌سازی داده‌ها را فراگرفته و از کتابخانه‌هایی مانند: Matplotlib برای مصورسازی داده‌ها استفاده نمایید.
ایشان به عنوان مدرس نمونه در زمینه ارائه و آموزش دروس دانشگاهی انتخاب شده‌اند، همچنین ایشان مشاور کنکور نیز هستند و بیش از 30 کتاب در زمینه کنکور رشته کامپیوتر تالیف کرده‌اند.
چکیده آموزش
توضیحات تکمیلی
امروزه یادگیری روش‌های آماده‌سازی داده برای هر فردی که قصد ورود به حوزه علوم داده (Data Science) را دارد، یک نیاز اساسی محسوب می‌شود. آماده‌سازی داده‌ها، تبدیل داده‌ها از یک قالب داده خام به ساختار دیگر، جهت ایجاد داده با‌ارزش‌تر است. آماده‌سازی داده، شامل: تجسم داده‌ها، تجمیع داده، آموزش مدل آماری و موارد دیگر است.
بعد از دیدن این آموزش قادر خواهید بود که با اصول اولیه تجزیه و تحلیل و آماده‌سازی داده‌ها با پایتون (Python) آشنا شوید، نحوه ورود داده از فایل‌هایی مانند: XML ,JSON و CSV را یاد بگیرید و همچنین از کتابخانه Pandas در پایتون برای تجزیه و تحلیل داده‌ها، گروهبندی و اتصال داده‌ها استفاده کنید، بتوانید داده‌ها را از وب استخراج کرده، نحوه شناسایی و پاک‌سازی داده‌ها را فراگرفته و از کتابخانه‌هایی مانند: Matplotlib برای مصورسازی داده‌ها استفاده نمایید.
فهرست سرفصل‌ها و رئوس مطالب مطرح شده در این مجموعه آموزشی، در ادامه آمده است:
- درس یکم: آشنایی با پکیج NumPy
- نصب آناکوندا (Anaconda) و ژوپیتر نوت‌بوک (Jupyter Notebook)
- نصب پکیج NumPy
- مقایسه سرعت کار آرایه‌های NumPy با آرایه‌های پایتون
- کار با آرایه‌های NumPy
- کار با swapaxes
- کار با transpose
- توابع عمومی ()sqrt(), exp(), modf
- دستور where
- متدهای ریاضی amin, mean, average
- متدهای آماری VAR, Std, Median, Quantile, Percentile
- تابع cumsum و sum
- تابع any و all
- تابع unique
- تابع sort
- تابع in1d
- تابع save و load
- ذخیره آرایه در فایل
- کار با random.sample, rand, randint, randn
- تابع inner, outer
- ضرب دو ماتریس با dot
- معکوس ماتریس با inv
- تجزیه ماتریس با qr
- درس دوم: کار با سری‌ها در پکیج Pandas
- تعریف سری
- شاخص‌گذاری مجدد (Reindexing)
- دسترسی به عناصر سری
- کار با iloc
- تابع drop
- تابع pop
- کار با isna, notna, isin
- کپی گرفتن از سری
- مرتب‌سازی مقادیر سری با sort_values
- تابع rank
- تابع is_unique
- تابع describe
- تابع count
- تابع duplicated
- حذف داده‌های تکراری
- اضافه کردن عبارت به قبل یا بعد از اندیس سری
- عملیات ریاضی بر روی دو سری
- بررسی مساوی بودن دو سری با eq
- کار با ne, qt, qe, lt, le
- تابع argmax و idxmax
- جمع و ضرب انباشته با cumsum و cumprod
- تابع ()value_counts
- تابع ()unique
- تابع ()append و ()combine
- تابع ()apply
- تابع ()transform
- تابع ()agg
- تابع ()nlargest
- گروهبندی
- تابع ()between
- حذف داده‌های نهست با ()dropna
- تبدیل سری به آرایه و دیکشنری
- جایگزینی مقادیر در سری
- تابع ()repeat
- کار با سری‌های چند ایندکسی
- درس سوم: کار با دیتافریم‌ها در پکیج Pandas
- ایجاد دیتافریم
- کار با in
- کار با اندیس در دیتافریم
- تفاوت loc با iloc
- تابع ()iat
- تابع ()reindex
- تابع ()sort_values
- تابع ()sort_index
- تابع ()idxmax
- عمل ()transpose
- اعمال عبارت lambda
- آشنایی با apply, map, applymap
- حذف سطر و ستون از دیتافریم
- بررسی خالی بودن دیتافریم
- عملیات ریاضی بر روی دیتافریم
- کار با index.name
- جمع دیتافریم با سری
- شاخص‌های سلسله‌مراتبی
- تابع ()unstack
- تابع ()swaplevel
- درس چهارم: نوشتن و خواندن در فایل
- کار با فایل دارای پسوند csv
- کار با فایل دارای پسوند xlsx
- کار با فایل دارای پسوند json
- کار با فایل دارای پسوند html
- کار با فایل دارای پسوند xml
- کار با فایل دارای پسوند pkl
- کار با فایل‌های HDF
- ارتباط با دیتابیس
- معرفی SQLite
- ایجاد جدول و کار با آن (Select, Insert)
- گرفتن اطلاعات از آدرس URL
- درس پنجم: پاک‌سازی داده‌ها
- کار با داده‌های گمشده (Missing Data)
- تابع ()dropna
- تابع ()fillna
- حذف داده‌های تکراری با ()drop_duplicates
- جایگزینی مقادیر
- تابع cut
- کشف داده‌های پرت (Detectiing Outliers)
- تابع ()take
- تابع ()sample
- تابع ()get_dummies
- درس ششم: ادغام دیتافریم‌ها
- ادغام دو دیتافریم با تابع ()merge
- چند مثال
- ادغام روی ایندکس‌ها
- ادغام دو دیتافریم با تابع join
- اضافه کردن یک دیتافریم به انتهای دیتافریم دیگر با تابع concat
- اضافه کردن یک سری به انتهای سری دیگر با تابع concat
- تابع ()combine_first
- تابع pivot
- تابع melt
- درس هفتم: مصورسازی داده‌ها با پکیج Pyplot
- تابع plot
- رسم نمودار نقطه‌ای با Scatter
- رسم نمودار میله‌ای با Bar
- رسم هیستوگرام با Hist
- رسم نمودار دایره‌ای با Pie
- رسم نمودار جعبه‌ای با Boxplot
- رسم پلات برای دیتافریم
- رسم نمودار جعبه‌ای با پکیج Seaborn
- معرفی دیتابیس Iris
- آشنایی با Violinplot
- درس هشتم: گروهبندی
- اعمال groupby بر روی سری
- مثال
- اعمال groupby بر روی دیتافریم
- گروهبندی روی سطح ایندکس‌ها
- تابع transform
- مثال (گروهبندی بر روی دیتافریم Iris)
- رده (Category)
- درس نهم: سری‌های زمانی
- کار با datetime
- مهر زمانی (Timestamp)
- آشنایی با date_range
- آشنایی با period_range
- کار با to_datetime
- معرفی Hour و Minute
- معرفی Day و MonthEnd
- معرفی Rollback و Rollforward
- سری زمانی
- کار با DatetimeIndex
- معرفی shift
- کار با resample
- درس دهم: پروژه
- تعیین بهترین فیلم‌های سینمایی از نظر آقایان و خانم‌ها
- تعیین نام‌های پر‌تکرار ثبت شده برای نوزادان
مفید برای رشته‌های
- مهندسی کامپیوتر - نرم‌افزار
- داده‌کاوی
پیش نیاز
آنچه در این آموزش خواهید دید:
نرم افزارهای مرتبط با آموزش
پیش نمایش‌ها
۱.
آشنایی با پکیج NumPy
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید دانلود پیش‌نمایش - حجم: ۲۶ مگابایت -- (کلیک کنید +))
۲.
کار با سری‌ها در پکیج Pandas
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید دانلود پیش‌نمایش - حجم: ۱۲ مگابایت -- (کلیک کنید +))
۳.
کار با دیتافریم‌ها در پکیج Pandas
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید دانلود پیش‌نمایش - حجم: ۷۹ مگابایت -- (کلیک کنید +))
۴.
نوشتن و خواندن در فایل
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۵.
پاک‌سازی داده‌ها
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۶.
ادغام دیتافریم‌ها
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۷.
مصورسازی داده‌ها با پکیج Pyplot
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۸.
گروهبندی
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۹.
سری‌های زمانی
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۱۰.
پروژه
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
با تهیه این آموزش، می‌توانید به همه بخش‌ها و جلسات آن، دسترسی داشته باشید.
راهنمای سفارش آموزش‌ها
.svg)
در مورد این آموزش یا نحوه تهیه آن سوالی دارید؟
- با شماره تلفن واحد مخاطبین ۵۷۹۱۶۰۰۰ (پیش شماره ۰۲۱) تماس بگیرید. - تمام ساعات اداری
- با ما مکاتبه ایمیلی داشته باشید (این لینک). - میانگین زمان پاسخ دهی: ۳۰ دقیقه
اطلاعات تکمیلی
| نام آموزش | آموزش تجزیه و تحلیل و آماده سازی داده ها با پایتون |
|---|---|
| ناشر | فرادرس |
| شناسه اثر | ۸–۱۲۴۵۲–۰۷۸۵۵۶ (ثبت شده در مرکز رسانه‌های دیجیتال وزارت ارشاد) |
| کد آموزش | FVDM9507 |
| مدت زمان | ۹ ساعت و ۵۴ دقیقه |
| زبان | فارسی |
| نوع آموزش | آموزش ویدئویی (نمایش آنلاین + دانلود) |
| حجم دانلود | ۹۸۹ مگابایت (کیفیت ویدئو HD با فشرده سازی انحصاری فرادرس) |
- ۱۰۰ درصد مبلغ پرداختی در حساب کاربری شما شارژ می‌شود.
- و یا ۷۰ درصد مبلغ پرداختی به حساب بانکی شما بازگشت داده می‌شود.
نظرات
استاد همه ی دوره هاتون عالی هستند فقط ازتون خواهش می کنم چند دوره طراحی بفرمایید که فقط بر اساس نام پروژه و به عنوان پروژه عملی از ابتدا تا انتها روند پروژه های داده کاوی و ماشین لرنینگ رو داشته باشه تا برای کسانی که دوره های شما رو کامل مشاهده کردند به عنوان تمرین عملی و مرور جامع در نظر گرفته بشه. پیشاپیش ازتون ممنونم.
امیدوارم انسان هایی مثل شما که سخاوتمندانه اطلاعاتشون رو در اختیار دیگران قرار می دهند بیشتر وارد حوزه آموزش بشن.
ممنون. حتما
من می خواستم از استاد تشکر کنم چون من از پایتون و ماشین لرنینگ هیچی نمیدونستم اما به همین ترتیبی که ایشون توضیح دادن تمام ویدئو ها رو نگاه کردم و هربار که می تونم با داده ها کار کنم از ته قلبم براشون دعا می کنم امیدوارم آموزش هایی با این کیفیت و هزینه ای که همه بتونن ازش استفاده کنند رواج پیدا کنه.
ممنون.
سعی من بر این بوده که مطالب را در سریعترین زمان ممکن به شما عزیزان انتقال دهم. اینجانب برای یادگیری این مطالب زمان زیادی صرف کردم.
سلام.
ترتیب آموزش های اینجانب برای ورود به حوزه یادگیری ماشین ، هوش مصنوعی و data science :
1- پایتون همراه با مثال های عملی
2- شی گرایی در پایتون
3- تجزیه و تحلیل و آماده سازی داده ها با پایتون
4- یادگیری ماشین (بخش اول)
5- یادگیری ماشین (قسمت دوم)
6- گراف کاوی و تحلیل شبکه ها در پایتون با NetworkX
سلام خدمت استاد عزیز و دوستان
استاد دستورات خیلی خوب توضیح دادند ولی چند نکته هست که نظر شخصی من هست
اول اینکه تو این دوره فقط متود های پیکج numpy و pandas یادخواهید گرفت که خب بهتر بود استاد مقداری با پروژه واقعی تدریس میکردند چونکه خسته کننده شده بود و یکنواخت
و دوم اینکه اگر بنا به یادگیری تنها متود های این پکیج ها بود خب تو سایت هاشون این دو پکیج تمامی متود ها رو آموزش دادن و خیلی راحت میتونیم بریم ببینیم که هر کدام چکار میکنه و یا بهتر سرچ کنیم متود مورد نیازمون پیدا کنیم و استفاده کنیم.
در کل استاد خیلی مسلط و با معلومات فراوان هستند ولی بهتر هست مقداری پروژه محور تدریس میشد
با تشکر فراوان از استاد عزیز و سایت فرادرس
سلام.
در آموزش های پروژه محور سایت فرادرس، به پروژه محور بودن آنها اشاره شده است که این آموزش این چنین نمی باشد.
همانطور که در سرفصل آموزش گفته شده هدف کار با پکیج های numpy و pandas جهت آماده سازی داده می باشد. به نظر خودم مطالبی که من در این آموزش گفته ام در هیچ منبعی با این نظم و ترتیب گفته نشده است. علاوه بر این در انتهای آموزش چند پروژه هم قرار داده ام .
همچنین این آموزش پیش نیاز آموزش دو قسمتی یادگیری ماشین من در فراردس است که در آن آموزش ها چندین پروژه انجام شده است.
موفق باشید.
من در چند دوره از اموزش های پایتون coursera و Udemy شرکت کردم و مدرک هم گرفتم ولی هیچ کدوم به اندازه استاد شیرافکن واضح و پرمحتوا با نکات عالی تدریس نکردند. ای کاش پلترفرم های حل مساله و تمرین که در coursera وجود داره به تدریس دلنواز استاد شیرافکن اضافه می شد تا همه چی تکمیل باشه. باز هم ممنون از استاد شیرافکن و سایت فرادرس، بابت تولید محتوای مفیدشون.
خیلی ممنون. من زمان زیادی برای تهیه آموزش هایم در فرادرس می گذارم . فرادرس بستری تهیه کرده که در رویا های من بوده. همیشه دوست داشتم اطلاعاتم را در اختیار عزیزانی که به آن علاقمند هستند قرار دهم و این آرزوی من را فرادرس برآورده کرد. شاید این امکانی که شما هم فرمودید، فرادرس بعدا اضافه کند. موفق باشید.
بسیار خوشحالم که دکتر شیرافکن مدرس این آموزش هستند. ایشان دلسوزانه تمام دانش خودشون رو در اختیار دانشجویان قرار میدن. تشکر از فرادرس.
لطف دارید.