دانلود آنی
چکیده آموزش
بی شک در طول تاریخ معاصر، دو اتفاق بسیار مهم و تاثیرگذار در زندگی انسان ها روی داده است که اولین آن انقلاب صنعتی بود که باعث استفاده از نیروی کار ماشین ها به جای انسان ها شد و دومین اتفاق، گسترش ارتباطات و انفجار اطلاعات بود به نحوی که قرن ۲۱ را قرن ارتباطات و اطلاعات نامیدند، اما اتفاق دوم با همه فواید، معایبی را نیز همراه داشت که می توان به سردرگم شدن کاربران در این حجم زیاد اطلاعات و گسترش اطلاعات نادرست، اشاره کرد.
راهکار علم کامپیوتر برای حل این مساله استفاده از کامپیوترها برای پردازش این حجم از اطلاعات و ارائه اطلاعات مفید تر بود. احتمالا با هرم دانش، آشنایی دارید. براساس این هرم، کاری که کامپیوتر انجام می دهد گرفتن داده ها و تبدیل آن ها به اطلاعات مفید است. همان طور که می دانید داده ها را در بستر وب می توان به فرم های متن، تصویر، صوت یا ویدئو مشاهده نمود ولی از آن جا که بیشتر این داده ها به صورت متن هستند در این فرادرس به پردازش زبان های طبیعی می پردازیم.
برای این پردازش، نیاز به یک ابزار و یا به عبارتی به یک زبان برنامه نویسی داریم، بنابراین با توجه به سهولت کدنویسی و همچنین وجود بسته های نرم افزاری زیاد، زبان برنامه نویسی پایتون و مهم ترین ابزار آن برای پردازش زبان های طبیعی یعنی NLTK را برمی گزینیم، البته شایان ذکر است که این درس با عنوان مبانی پردازش زبان و گفتار برای دانشجویان کامپیوتر در برخی از دانشگاه ها ارائه می گردد ولی از آن جا که بیشتر به صورت تئوری ارائه می شود و منبع فارسی عملی نیز برای آن وجود ندارد بر آن شدیم که این درس را ارائه دهیم.
فهرست سرفصل ها و رئوس مطالب مطرح شده در این مجموعه آموزشی، در ادامه آمده است:
- درس یکم: معرفی آموزش
- درس دوم: آشنایی اولیه با پایتون (Python)
- نصب ابزارهای مورد نیاز
- متغیرها در پایتون
- ساختمان داده ها در پایتون (لیست، تاپل، دیکشنری و ست)
- ساختارهای کنترلی
- توابع
- شی گرایی
- درس سوم: آشنایی با پردازش زبان های طبیعی
- مشکلات و مسائل پردازش زبان های طبیعی
- روش های اندازه گیری دقت سیستم های پردازش زبان طبیعی
- درس چهارم: توکن بندی (Token)
- Segmentation
- Word Tokenization
- Training Word Tokenizer
- درس پنجم: عبارات منظم
- آشنایی با قواعد عبارات منظم
- استفاده از عبارات منظم در پردازش زبان های طبیعی
- درس ششم: پاک سازی و نرمال سازی متن
- Stop words
- Stemming
- درس هفتم: وردنت (WordNet)
- Synset
- Lemma
- محاسبه شباهت بین کلمات
- درس هشتم: فاصله ویرایشی و تصحیح خطاهای املایی
- محاسبه فاصله ویرایشی
- تصحیح خطاهای املایی
- حذف حروف تکراری و اضافی کلمات
- درس نهم: پیکره ها (Corpus)
- آشنایی با انواع پیکره ها
- ساخت و استفاده از پیکره ها
- درس دهم: مدل های زبانی یا n-gram
- کاربرد مدل های زبانی
- درس یازدهم: تحلیل نحوی (Part of speech tagging)
- درس دوازدهم: Hazm در ویندوز (Windows) و لینوکس (Linux)
- درس سیزدهم: طبقه بندی متن (Text classification)
- Bag of words
- Naive Bayes
- استفاده از درخت تصمیم
- درس چهاردهم: پردازش احساسات (Sentiment analysis)
- استفاده از کلمات هم معنی
- استفاده از نفی به جای کلمات متضاد
مفید برای رشته های
- مهندسی کامپیوتر
- هوش مصنوعی
مشاهده آنلاین و یا دانلود رایگان این پیش نمایش، نیازمند 
احسان :
دوره ی مفیدی بود
خیلی ممنون از ارائه این درس
نیما :
خیلی خوشحالم که فرادرس آموزش های بسیار خوب و کاربردی رو با کیفیت بالا در دسترس عموم قرار میده.
با سپاس
محمدرضا :
آموزش بسیار خوب تهیه شده و مدرس به نرم افزار کاملا مسلط هستند.
اگر امکان دارد مثالی واقعی در “طبقه بندی متن” ارائه شود.
ممنون
فاطمه :
سلام
خیلی عالی بود
تشکر از آقای یزدانی و تشکر از فرادرس
میثم :
سلام
آموزش خوبی بود.
اگر می‌شود خوشه بندی و یک مثال عملی از اون رو هم ارائه بدید.
متشکرم