ارائه­ دهنده:

  اساتید راهنما:

 دکتر محمد طاهر پیله‏ ور 
دکتر صالح اعتمادی  

هیات داوران:
دکتر بهروز مینایی
دکتر هشام فیلی

زمان:
چهارشنبه ۱۴۰۰/۰۴/۰۲

آقای کیامهر رضایی دانشجوی کارشناسی ارشد آقایان دکتر محمد طاهر پیله‏ ور و دکتر صالح اعتمادی روز چهارشنبه ۰۲ تیر ماه ساعت ۱۳:۰۰ از پروژه کارشناسی ارشد خود تحت عنوان "  واکاوی توانایی بازشناسی معنایی مدل‏های حساس به محتوا برای بازنمایش کلمات  " دفاع خواهند نمود.

چکیده پایان نامه:
امروزه کاربرد شبکه‏ های عصبی عمیق در حوزه پردازش زبان‏های طبیعی، به‏ طور چشم‏گیری افزایش یافته است و در بیشتر زمینه‏ ها، همچون ترجمه‌ی ماشینی، پاسخ به سوال، دسته ‏بندی متون و غیره، روش‌های مبتنی بر شبکه‏ه ای عصبی عملکرد با اختلاف بهتری نسبت به روش‏های دیگر دارند. همان‏طور که می‏دانیم، ورودی شبکه ‏های عصبی از جنس اعداد و ارقام می‏باشد؛ بنابراین یکی از چالش‏ها هنگام ب‏کارگیری شبکه‏ های عصبی در حوزه زبان‏های طبیعی، تبدیل کردن اسنادی از جنس کلمات به ورودی‏هایی عددی است. یکی از مشکلات اصلی در روش‏های اولیه مربوط به کلماتی با چندین معنی مختلف می‏باشد که با وجود داشتن شکل نوشتاری یکسان، می‏بایست به بردار‏های متفاوتی نگاشته شوند.
امروزه مدل‏های زبانی از پیش آموزش داده شده، به طور گسترده برای حل مشکل ذکر شده مورد استفاده قرار می‏گیرند؛ چرا که این مدل‏ها با استفاده از محتوایی که کلمه‏ی مورد نظر در آن ظاهر شده است، بازنمایی‏های متفاوتی برای معانی مختلف یک واژه ایجاد می‏کنند. مدل BERT و مشتقات آن به لطف توانایی بی‏نظیرشان در به کار گیری محتوا برای بازنمایی کلمات، امروزه در تمامی آزمون‏ها از جمله آزمون‏های مربوط به رفع ابهام از کلمات، درخشش چشم‏گیری داشته‏اند. هرچند، در رابطه با میزان توانایی آن‏ها در کیفیت رمزنگاری و رمزگشایی معانی مختلف کلمات، همچنان ابهام وجود دارد.
در این کار، ما به‏طور جامع، به بررسی کمی و کیفی مدل BERT در رابطه با ابهام واژگانی می‏پردازیم. یکی از نتایج اصلی کار، این است که BERT می‏تواند با دیدن تعداد اندکی نمونه از هریک از معانی درشت‏دانه‏ی واژگان، به خوبی آن‏ها را از یک‏دیگر تمایز دهد. همچنین، نشان می‏دهیم که این مدل‏های زبانی در شرایط بهینه، بسیار به عملکرد انسان در زمینه‏ی رفع ابهام از واژگان نزدیک شده‏اند. همچنین ما در این کار به بررسی تفاوت عملکرد دو رویکرد مختلف ابهام زدایی از واژگان می‏پردازیم. در رویکرد اول، مدل از پیش آموزش داده شده، بر روی دادگان جدید تنظیم می‏گردد و در رویکرد دوم، از دانش خام مدل‏های زبانی بدون تنظیم بیشتر بر روی داده‏ی جدید بهره برداری می‏شود. نشان می‏دهیم که رویکرد دوم که رویکرد عملی‏ و همچنین طبیعی‏تر حل این مساله می‏باشد، نسبت به خطا مقاومت بیشتری داشته و به نمونه‏ های بسیار کمی برای بهره‏ برداری نیاز دارد. در نهایت با معرفی مشکلاتی که تعریف فعلی صورت مساله‏ی رفع ابهام در راستای ارزیابی سیستم‏ها ایجاد می‏کند و با معرفی صورت مساله‏ ی جایگزین، این تحقیق به پایان می‏رسد.
 
واژه‌های کلیدی: پردازش زبان‏های طبیعی، جاسازی کلمات، چند‏معنایی، ابهام واژگان، مدل BERT