طراحی پروژه Nlp

---

شرح پروژه

باید برنامه Nlp با nltk نوشته شود که متن داده شده (داستان داده شده توسط user) را آنالیز کرده و سؤال‌های پرسیده شده را جواب بده و سوال ها در ۳ لول هستن که لول آخر reasoning هست

1. پردازش زبان طبیعی (NLP) چیست و چه تفاوتی با پردازش متن  دارد؟ 

2. سه کاربرد عملی NLP که در درس مطرح شده‌اند را نام ببرید و هرکدام را در یک خط توضیح دهید. 

3. معماری کلی یک سیستم NLP را توضیح دهید و نقش هر لایه را مشخص کنید. 

4. تفاوت بین Natural Language Understanding و Natural Language Generation را با مثال توضیح دهید. 

5. فرض کنید می‌خواهید یک سیستم پاسخ‌گویی به سؤال طراحی کنید. با توجه به مفاهیم درس، مراحل پردازش ورودی تا تولید پاسخ را به‌صورت دقیق تشریح کنید و بگویید هر مرحله چه چالش‌هایی دارد. 

6. سطوح مختلف تحلیل زبانی (Morphology, Syntax, Semantics, Pragmatics) را نام ببرید. 

7. منظور از ambiguity در زبان طبیعی چیست؟ 

8. تفاوت ابهام واژگانی و ابهام نحوی را توضیح دهید و برای هرکدام یک مثال بزنید. 

9. نقش دانش زبانی در بهبود عملکرد سیستم‌های NLP را توضیح دهید. 

10. جمله‌ای با ابهام نحوی انتخاب کنید و نشان دهید یک سیستم NLP چگونه می‌تواند در هر سطح زبانی (نحو و معنا) دچار خطا شود و چه راهکارهایی برای کاهش این خطا وجود دارد. 

11. سیستم‌های مبتنی بر قاعده (Rule-based) در NLP چه ویژگی‌هایی دارند؟ 

12. یک مثال از یک قاعده  زبانی بنویسید. 

13. مزایا و معایب سیستم‌های مبتنی بر قاعده را در مقایسه با روش‌های آماری توضیح دهید. 

14. توضیح دهید چرا نگهداری و توسعه سیستم‌های rule-based دشوار است. 

15. فرض کنید باید یک سیستم rule-based برای تشخیص جملات سؤالی طراحی کنید. قواعد اصلی را تعریف کرده و نقاط ضعف این رویکرد را تحلیل کنید. 

16. Lexicon در NLP چیست و چه اطلاعاتی می‌تواند شامل شود؟ 

17. تفاوت بین word form و lemma چیست؟ 

18. نقش lexicon در تحلیل معنایی را توضیح دهید. 

19. چرا ساخت lexicon کامل برای یک زبان کار دشواری است؟ 

20. فرض کنید یک lexicon ناقص در اختیار دارید. توضیح دهید این نقص چگونه می‌تواند بر مراحل مختلف پردازش زبان (تحلیل نحوی و معنایی) اثر منفی بگذارد. 

21. منظور از روش‌های تجربی (Empirical) در NLP چیست؟ 

22. Corpus چیست و چرا اهمیت دارد؟ 

23. تفاوت supervised و unsupervised learning را در NLP توضیح دهید. 

24. نقش داده آموزشی در کیفیت مدل‌های NLP را تحلیل کنید. 

25. اگر داده آموزشی دارای نویز باشد، چه تأثیری بر مدل NLP خواهد داشت؟ راهکارهای پیشنهادی درس را توضیح دهید. 

26. Regular Expression  چیست و در NLP چه کاربردی دارد؟ 

27. نقش regex در پیش‌پردازش متن را توضیح دهید. 

28. یک regex برای شناسایی آدرس ایمیل طراحی کنید و اجزای آن را توضیح دهید. 

29. محدودیت‌های regex در تحلیل زبان طبیعی چیست؟ 

30. فرض کنید می‌خواهید با regex جملات تاریخ‌دار (با فرمت‌های مختلف) را استخراج کنید. راه‌حل پیشنهادی خود را توضیح دهید و نشان دهید چرا regex به‌تنهایی کافی نیست. 

31. Grammar در NLP به چه معناست؟ 

32. منظور از Context-Free Grammar چیست؟ 

33. اجزای اصلی یک CFG را توضیح دهید. 

34. نقش grammar در parsing را شرح دهید. 

35. یک grammar  برای جملات خبری زبان انگلیسی طراحی کنید و نشان دهید چگونه یک جمله با آن parse می‌شود. 

36. مدل زبانی چیست؟ 

37. هدف اصلی language modeling چیست؟ 

38. تفاوت unigram، bigram و trigram را توضیح دهید. 

39. مشکل data sparsity در مدل‌های زبانی چیست؟ 

40. فرض کنید یک مدل bigram ساخته‌اید که احتمال صفر تولید می‌کند. توضیح دهید چرا این اتفاق می‌افتد و روش‌های smoothing مطرح‌شده در درس چگونه آن را حل می‌کنند. 

41. دو کاربرد عملی NLP که در این درس مطرح شده‌اند را نام ببرید. 

42. نقش preprocessing در پروژه‌های NLP چیست؟ 

43. مراحل کلی یک پروژه NLP عملی را توضیح دهید. 

44. چرا ارزیابی (evaluation) در NLP اهمیت دارد؟ 

45. یک مسئله واقعی پردازش زبان طبیعی (مثلاً تحلیل احساسات) را انتخاب کنید و با تکیه بر مفاهیم درس، کل pipeline حل آن را از ورودی تا ارزیابی تشریح کنید.

مهارت ها و تخصص های مورد نیاز

---

---