چکیده
برای پردازش زبان های طبیعی، نیاز به یک ابزار و یا به عبارتی به یک زبان برنامه نویسی داریم، بنابراین با توجه به سهولت کدنویسی و همچنین وجود بسته های نرم افزاری زیاد، زبان برنامه نویسی پایتون و مهم ترین ابزار آن برای پردازش زبان های طبیعی یعنی NLTK را برمی گزینیم، البته شایان ذکر است که این درس با عنوان مبانی پردازش زبان و گفتار برای دانشجویان کامپیوتر در برخی از دانشگاه ها ارائه می گردد ولی از آن جا که بیشتر به صورت تئوری ارائه می شود و منبع فارسی عملی نیز برای آن وجود ندارد بر آن شدیم که این درس را ارائه دهیم.
آموزش پردازش زبان های طبیعی (NLP) در پایتون (Python) با پلتفرم NLTK
احسان یزدانی دانشجوی کارشناسی ارشد مهندسی فناوری اطلاعات گرایش معماری سازمانی از دانشگاه شهید بهشتی هستند. ایشان از بنیان گذاران و دبیران همایش های مختلف علمی از جمله AndDev 2017 و مسابقات برنامه نویسی دانشگاهی بوده اند. از فعالیت های ایشان می توان به برگزاری چندین دوره کلاس حل تمرین در دوره کارشناسی، کارشناسی ارشد و مدیریت شرکت فناوران صور رایانه که یکی از پیشروان در صنعت IT است، نیز اشاره کرد.
چکیده آموزش
توضیحات تکمیلی
بی شک در طول تاریخ معاصر، دو اتفاق بسیار مهم و تاثیرگذار در زندگی انسان ها روی داده است که اولین آن انقلاب صنعتی بود که باعث استفاده از نیروی کار ماشین ها به جای انسان ها شد و دومین اتفاق، گسترش ارتباطات و انفجار اطلاعات بود به نحوی که قرن ۲۱ را قرن ارتباطات و اطلاعات نامیدند، اما اتفاق دوم با همه فواید، معایبی را نیز همراه داشت که می توان به سردرگم شدن کاربران در این حجم زیاد اطلاعات و گسترش اطلاعات نادرست، اشاره کرد.
راهکار علم کامپیوتر برای حل این مساله استفاده از کامپیوترها برای پردازش این حجم از اطلاعات و ارائه اطلاعات مفید تر بود. احتمالا با هرم دانش، آشنایی دارید. براساس این هرم، کاری که کامپیوتر انجام می دهد گرفتن داده ها و تبدیل آن ها به اطلاعات مفید است. همان طور که می دانید داده ها را در بستر وب می توان به فرم های متن، تصویر، صوت یا ویدئو مشاهده نمود ولی از آن جا که بیشتر این داده ها به صورت متن هستند در این فرادرس به پردازش زبان های طبیعی می پردازیم.
برای این پردازش، نیاز به یک ابزار و یا به عبارتی به یک زبان برنامه نویسی داریم، بنابراین با توجه به سهولت کدنویسی و همچنین وجود بسته های نرم افزاری زیاد، زبان برنامه نویسی پایتون و مهم ترین ابزار آن برای پردازش زبان های طبیعی یعنی NLTK را برمی گزینیم، البته شایان ذکر است که این درس با عنوان مبانی پردازش زبان و گفتار برای دانشجویان کامپیوتر در برخی از دانشگاه ها ارائه می گردد ولی از آن جا که بیشتر به صورت تئوری ارائه می شود و منبع فارسی عملی نیز برای آن وجود ندارد بر آن شدیم که این درس را ارائه دهیم.
فهرست سرفصل ها و رئوس مطالب مطرح شده در این مجموعه آموزشی، در ادامه آمده است:
- درس یکم: معرفی آموزش
- درس دوم: آشنایی اولیه با پایتون (Python)
- نصب ابزارهای مورد نیاز
- متغیرها در پایتون
- ساختمان داده ها در پایتون (لیست، تاپل، دیکشنری و ست)
- ساختارهای کنترلی
- توابع
- شی گرایی
- درس سوم: آشنایی با پردازش زبان های طبیعی
- مشکلات و مسائل پردازش زبان های طبیعی
- روش های اندازه گیری دقت سیستم های پردازش زبان طبیعی
- درس چهارم: توکن بندی (Token)
- Segmentation
- Word Tokenization
- Training Word Tokenizer
- درس پنجم: عبارات منظم
- آشنایی با قواعد عبارات منظم
- استفاده از عبارات منظم در پردازش زبان های طبیعی
- درس ششم: پاک سازی و نرمال سازی متن
- Stop words
- Stemming
- درس هفتم: وردنت (WordNet)
- Synset
- Lemma
- محاسبه شباهت بین کلمات
- درس هشتم: فاصله ویرایشی و تصحیح خطاهای املایی
- محاسبه فاصله ویرایشی
- تصحیح خطاهای املایی
- حذف حروف تکراری و اضافی کلمات
- درس نهم: پیکره ها (Corpus)
- آشنایی با انواع پیکره ها
- ساخت و استفاده از پیکره ها
- درس دهم: مدل های زبانی یا n-gram
- کاربرد مدل های زبانی
- درس یازدهم: تحلیل نحوی (Part of speech tagging)
- درس دوازدهم: Hazm در ویندوز (Windows) و لینوکس (Linux)
- درس سیزدهم: طبقه بندی متن (Text classification)
- Bag of words
- Naive Bayes
- استفاده از درخت تصمیم
- درس چهاردهم: پردازش احساسات (Sentiment analysis)
- استفاده از کلمات هم معنی
- استفاده از نفی به جای کلمات متضاد
مفید برای رشته های
- مهندسی کامپیوتر
- هوش مصنوعی
آنچه در این آموزش خواهید دید:
پیش نمایش‌ها
۱.
معرفی آموزش
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید (دانلود پیش‌نمایش - حجم: ۷ مگابایت -- (کلیک کنید +))
۲.
آشنایی اولیه با پایتون
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید (دانلود پیش‌نمایش - حجم: ۵ مگابایت -- (کلیک کنید +))
۳.
آشنایی با پردازش زبان های طبیعی
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید (دانلود پیش‌نمایش - حجم: ۹ مگابایت -- (کلیک کنید +))
۴.
توکن بندی
توجه: اگر به خاطر سرعت اینترنت، کیفیت نمایش پایین‌تر از کیفیت HD ویدئو اصلی باشد؛ می‌توانید ویدئو را دانلود و مشاهده کنید (دانلود پیش‌نمایش - حجم: ۹ مگابایت -- (کلیک کنید +))
۵.
عبارات منظم
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۶.
پاک سازی و نرمال سازی متن
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۷.
وردنت (WordNet)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۸.
فاصله ویرایشی و تصحیح خطاهای املایی
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۹.
پیکره ها (Corpus)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۱۰.
مدل های زبانی یا n-gram
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۱۱.
تحلیل نحوی (Part of speech tagging)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۱۲.
Hazm در ویندوز و لینوکس
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۱۳.
طبقه بندی متن (Text classification)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
۱۴.
پردازش احساسات (Sentiment Analysis)
مشاهده این پیش‌نمایش، نیازمند عضویت و ورود به سایت
(+) است.
راهنمای سفارش آموزش‌ها
در مورد این آموزش یا نحوه تهیه آن سوالی دارید؟
- با شماره تلفن واحد مخاطبین ۵۷۹۱۶۰۰۰ (پیش شماره ۰۲۱) تماس بگیرید. - تمام ساعات اداری
- با ما مکاتبه ایمیلی داشته باشید (این لینک). - میانگین زمان پاسخ دهی: ۳۰ دقیقه
اطلاعات تکمیلی
| نام آموزش | آموزش پردازش زبان های طبیعی (NLP) در پایتون (Python) با پلتفرم NLTK |
|---|---|
| ناشر | فرادرس |
| شناسه اثر | ۸–۱۲۴۵۲–۰۶۷۲۰۸ (ثبت شده در مرکز رسانه‌های دیجیتال وزارت ارشاد) |
| کد آموزش | FVPHT9701 |
| مدت زمان | ۷ ساعت و ۱۲ دقیقه |
| زبان | فارسی |
| نوع آموزش | آموزش ویدئویی (لینک دانلود) |
| حجم دانلود | ۵۹۹ مگابایت (کیفیت ویدئو HD با فشرده سازی انحصاری فرادرس) |
نظرات
خلیل
بسیار عالی. هم محتوا و هم سبک ارائه
سمانه
آموزش روان و خوبی بود
ایمان
با سلام
محتوای آموزشی مناسبی تهیه شده است و مطالب مفیدی ارائه شده اند.
محمد
موضوع خوبی داشت و از این جهت که پروژه محور بود، خیلی مفید بود.
بنیامین
از این تیپ آموزش ها هر جایی پیدا نمیشه، به نظرم خیلی جالب بود.
آمنه
آموزش خیلی خوب بود با مثال و در محیط برنامه نویسی تدریس می کردند و خطاها را در همان جا برطرف می کردند که این باعث میشد با خطاها نیز اشنا شویم
میثم
سلام
آموزش خوبی بود.
اگر می‌شود خوشه بندی و یک مثال عملی از اون رو هم ارائه بدید.
متشکرم
فاطمه
سلام
خیلی عالی بود
تشکر از آقای یزدانی و تشکر از فرادرس
محمدرضا
آموزش بسیار خوب تهیه شده و مدرس به نرم افزار کاملا مسلط هستند.
اگر امکان دارد مثالی واقعی در "طبقه بندی متن" ارائه شود.
ممنون
نیما
خیلی خوشحالم که فرادرس آموزش های بسیار خوب و کاربردی رو با کیفیت بالا در دسترس عموم قرار میده.
با سپاس