برای پردازش زبان های طبیعی، نیاز به یک ابزار و یا به عبارتی به یک زبان برنامه نویسی داریم، بنابراین با توجه به سهولت کدنویسی و همچنین وجود بسته های نرم افزاری زیاد، زبان برنامه نویسی پایتون و مهم ترین ابزار آن برای پردازش زبان های طبیعی یعنی NLTK را برمی گزینیم، البته شایان ذکر است که این درس با عنوان مبانی پردازش زبان و گفتار برای دانشجویان کامپیوتر در برخی از دانشگاه ها ارائه می گردد ولی از آن جا که بیشتر به صورت تئوری ارائه می شود و منبع فارسی عملی نیز برای آن وجود ندارد بر آن شدیم که این درس را ارائه دهیم.
آموزش پردازش زبان های طبیعی (NLP) در پایتون (Python) با پلتفرم NLTK
(کسب اطلاعات بیشتر +)
احسان یزدانی دانشجوی کارشناسی ارشد مهندسی فناوری اطلاعات گرایش معماری سازمانی از دانشگاه شهید بهشتی هستند. ایشان از بنیان گذاران و دبیران همایش های مختلف علمی از جمله AndDev 2017 و مسابقات برنامه نویسی دانشگاهی بوده اند. از فعالیت های ایشان می توان به برگزاری چندین دوره کلاس حل تمرین در دوره کارشناسی، کارشناسی ارشد و مدیریت شرکت فناوران صور رایانه که یکی از پیشروان در صنعت IT است، نیز اشاره کرد.
چکیده آموزش
توضیحات تکمیلی
بی شک در طول تاریخ معاصر، دو اتفاق بسیار مهم و تاثیرگذار در زندگی انسان ها روی داده است که اولین آن انقلاب صنعتی بود که باعث استفاده از نیروی کار ماشین ها به جای انسان ها شد و دومین اتفاق، گسترش ارتباطات و انفجار اطلاعات بود به نحوی که قرن ۲۱ را قرن ارتباطات و اطلاعات نامیدند، اما اتفاق دوم با همه فواید، معایبی را نیز همراه داشت که می توان به سردرگم شدن کاربران در این حجم زیاد اطلاعات و گسترش اطلاعات نادرست، اشاره کرد.
راهکار علم کامپیوتر برای حل این مساله استفاده از کامپیوترها برای پردازش این حجم از اطلاعات و ارائه اطلاعات مفید تر بود. احتمالا با هرم دانش، آشنایی دارید. براساس این هرم، کاری که کامپیوتر انجام می دهد گرفتن داده ها و تبدیل آن ها به اطلاعات مفید است. همان طور که می دانید داده ها را در بستر وب می توان به فرم های متن، تصویر، صوت یا ویدئو مشاهده نمود ولی از آن جا که بیشتر این داده ها به صورت متن هستند در این فرادرس به پردازش زبان های طبیعی می پردازیم.
برای این پردازش، نیاز به یک ابزار و یا به عبارتی به یک زبان برنامه نویسی داریم، بنابراین با توجه به سهولت کدنویسی و همچنین وجود بسته های نرم افزاری زیاد، زبان برنامه نویسی پایتون و مهم ترین ابزار آن برای پردازش زبان های طبیعی یعنی NLTK را برمی گزینیم، البته شایان ذکر است که این درس با عنوان مبانی پردازش زبان و گفتار برای دانشجویان کامپیوتر در برخی از دانشگاه ها ارائه می گردد ولی از آن جا که بیشتر به صورت تئوری ارائه می شود و منبع فارسی عملی نیز برای آن وجود ندارد بر آن شدیم که این درس را ارائه دهیم.
فهرست سرفصل ها و رئوس مطالب مطرح شده در این مجموعه آموزشی، در ادامه آمده است:
- درس یکم: معرفی آموزش
- درس دوم: آشنایی اولیه با پایتون (Python)
- نصب ابزارهای مورد نیاز
- متغیرها در پایتون
- ساختمان داده ها در پایتون (لیست، تاپل، دیکشنری و ست)
- ساختارهای کنترلی
- توابع
- شی گرایی
- درس سوم: آشنایی با پردازش زبان های طبیعی
- مشکلات و مسائل پردازش زبان های طبیعی
- روش های اندازه گیری دقت سیستم های پردازش زبان طبیعی
- درس چهارم: توکن بندی (Token)
- Segmentation
- Word Tokenization
- Training Word Tokenizer
- درس پنجم: عبارات منظم
- آشنایی با قواعد عبارات منظم
- استفاده از عبارات منظم در پردازش زبان های طبیعی
- درس ششم: پاک سازی و نرمال سازی متن
- Stop words
- Stemming
- درس هفتم: وردنت (WordNet)
- Synset
- Lemma
- محاسبه شباهت بین کلمات
- درس هشتم: فاصله ویرایشی و تصحیح خطاهای املایی
- محاسبه فاصله ویرایشی
- تصحیح خطاهای املایی
- حذف حروف تکراری و اضافی کلمات
- درس نهم: پیکره ها (Corpus)
- آشنایی با انواع پیکره ها
- ساخت و استفاده از پیکره ها
- درس دهم: مدل های زبانی یا n-gram
- کاربرد مدل های زبانی
- درس یازدهم: تحلیل نحوی (Part of speech tagging)
- درس دوازدهم: Hazm در ویندوز (Windows) و لینوکس (Linux)
- درس سیزدهم: طبقه بندی متن (Text classification)
- Bag of words
- Naive Bayes
- استفاده از درخت تصمیم
- درس چهاردهم: پردازش احساسات (Sentiment analysis)
- استفاده از کلمات هم معنی
- استفاده از نفی به جای کلمات متضاد
مفید برای رشته های
- مهندسی کامپیوتر
- هوش مصنوعی
پیش نیاز
آنچه در این آموزش خواهید دید:
نرم افزارهای مرتبط با آموزش
پیش نمایش‌ها
۱.
معرفی آموزش
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید دانلود پیش‌نمایش - حجم: ۸ مگابایت -- (کلیک کنید +))
۲.
آشنایی اولیه با پایتون
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید دانلود پیش‌نمایش - حجم: ۵ مگابایت -- (کلیک کنید +))
۳.
آشنایی با پردازش زبان های طبیعی
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید دانلود پیش‌نمایش - حجم: ۹ مگابایت -- (کلیک کنید +))
۴.
توکن بندی
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید دانلود پیش‌نمایش - حجم: ۱۰ مگابایت -- (کلیک کنید +))
۵.
عبارات منظم
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۶.
پاک سازی و نرمال سازی متن
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۷.
وردنت (WordNet)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۸.
فاصله ویرایشی و تصحیح خطاهای املایی
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۹.
پیکره ها (Corpus)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۱۰.
مدل های زبانی یا n-gram
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۱۱.
تحلیل نحوی (Part of speech tagging)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۱۲.
Hazm در ویندوز و لینوکس
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۱۳.
طبقه بندی متن (Text classification)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
۱۴.
پردازش احساسات (Sentiment Analysis)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت (+) است.
با تهیه این آموزش، می‌توانید به همه بخش‌ها و جلسات آن، دسترسی داشته باشید.
راهنمای سفارش آموزش‌ها
.svg)
در مورد این آموزش یا نحوه تهیه آن سوالی دارید؟
- با شماره تلفن واحد مخاطبین ۵۷۹۱۶۰۰۰ (پیش شماره ۰۲۱) تماس بگیرید. - تمام ساعات اداری
- با ما مکاتبه ایمیلی داشته باشید (این لینک). - میانگین زمان پاسخ دهی: ۳۰ دقیقه
اطلاعات تکمیلی
| نام آموزش | آموزش پردازش زبان های طبیعی (NLP) در پایتون (Python) با پلتفرم NLTK |
|---|---|
| ناشر | فرادرس |
| شناسه اثر | ۸–۱۲۴۵۲–۰۶۷۲۰۸ (ثبت شده در مرکز رسانه‌های دیجیتال وزارت ارشاد) |
| کد آموزش | FVPHT9701 |
| مدت زمان | ۷ ساعت و ۱۲ دقیقه |
| زبان | فارسی |
| نوع آموزش | آموزش ویدئویی (نمایش آنلاین + دانلود) |
| حجم دانلود | ۶۹۱ مگابایت (کیفیت ویدئو HD با فشرده سازی انحصاری فرادرس) |
- ۱۰۰ درصد مبلغ پرداختی در حساب کاربری شما شارژ می‌شود.
- و یا ۷۰ درصد مبلغ پرداختی به حساب بانکی شما بازگشت داده می‌شود.
نظرات
محمد رضا
آموزش خوبی نبود مطالب بسیار گذری و سطحی بیان شد
محمد
دوره بسیار خوبی بود، تسلط مدرس بسیار خوب، سرعت تدریس کمی بالا، بهتر است چند دوره پیشرفته با انجام پروژه عملی مثلاً در زمینه کاربردهای آکادمیک یا کاربردهای تحلیل احساسات به زبان فارسی ارائه شود.
مصطفی
سلام.
بابت آموزش خیلی ممنون هستم. اجازه بدین چند تا نکته هم بیان کنم. بخش های مختلفی از اجزای مربوط به NLTK بیان شد و به خوبی هم توضیح داده شد. اما به نظر میرسید مدرس برای آموزش عجله داره و حداقل من به عنوان بیننده نتونستم این اجزای مختلف و پراکنده ای که به خوبی آموزش داده شدن رو کنار هم بذارم و بفهمم برای انجام یک پروژه واقعی هرکدوم از این اجزای مختلف چطور و چرا و کجا باید استفاده بشن. البته در انتها یه نمونه تقریبا کاربردی اما مختصر هم وجود داشت که مدرس در بیان اون هم عجله داشت و انگار حتی به پیشنهاد فرادرس خیلی سریع ضبط شده و در آموزش کنجونده شده بود.
در هر صورت خیلی ممنون. کار جدیدی هست و جای کار هم بسیار دارد.
ممنون فرادرس و مدرس محترم.
خلیل
بسیار عالی. هم محتوا و هم سبک ارائه
محمد
موضوع خوبی داشت و از این جهت که پروژه محور بود، خیلی مفید بود.
سمانه
آموزش روان و خوبی بود
ایمان
با سلام
محتوای آموزشی مناسبی تهیه شده است و مطالب مفیدی ارائه شده اند.
بنیامین
از این تیپ آموزش ها هر جایی پیدا نمیشه، به نظرم خیلی جالب بود.
آمنه
آموزش خیلی خوب بود با مثال و در محیط برنامه نویسی تدریس می کردند و خطاها را در همان جا برطرف می کردند که این باعث میشد با خطاها نیز اشنا شویم
میثم
سلام
آموزش خوبی بود.
اگر می‌شود خوشه بندی و یک مثال عملی از اون رو هم ارائه بدید.
متشکرم