| خانم مریم سرخی دانشجوی دکترای آقایان دکتر محمدرضا جاهدمطلق و دکتر بهروز مینایی بیدگلی مورخ ۱۴۰۲/۱۲/۲۳ ساعت ۱۴:۳۰ از رساله دکتری خود با عنوان "یادگیری پارامترهای شناختی در بازی ویدئویی مبتنی بر فعالیت عصبی کاربر" دفاع خواهند نمود. |
ارائه دهنده:
مریم سرخی
اساتید راهنما:
دکتر محمدرضا جاهدمطلق
دکتر بهروز مینایی بیدگلی
استاد مشاور: دکتر محمدرضا دلیری
هیات داوران:
دکتر کنگاوری ؛ دکتر مزینی؛
دکتر نیلی احمدآبادی (دانشگاه تهران)،
دکتر عبدوس (دانشگاه شهید بهشتی)
زمان : ۲۳ اسفند ماه ۱۴۰۲
ساعت ۱۴:۳۰
چکیده پایان نامه :
بازیهای ویدئویی شامل بازیهای فکری و منطقی بوده که در کنار سرگرمی میتوانند از تواناییهای ذهنی و جسمی فرد استفاده کنند. در این ارتباط، روشهای عصبشناسی غیرتهاجمی همچون موجنگاری مغز برای ارزیابی بهتر توانبخشی ذهنی کاربر بکار گرفته میشود. در این رساله، هدف، یادگیری پارامترهای شناختی نظیر تصور حرکتی، توجه و غیره است که از سیگنال مغزی کاربر در حین اجرای بازی شناختی مرتبط استخراج شدهاند و در اجرای پروژههای مهم رابط ذهن و رایانه به ما کمک میکنند. همچنین، یکی از گرایش‌های بهروز در استفاده از سیگنالهای موج نگاری مغز بر اساس سامانهی تصور حرکت انسان است که در این پژوهش به آن پرداخته شده است.
سیگنالهای موج نگاری مغز سیگنال‌هایی، ناایستا و شامل مقادیر زیادی نوفه هستند که این ویژگی‌ها، پردازش این سیگنالها را برای ما دشوار مینماید. بسیاری از سامانههایی که برای حل این مسئله ارائه شده است در مرحله استخراج ویژگی، راهبرد انتخابی خود را بر مبنای ویژگیهای دستساز بنا نهادهاند، نقیصه این رویکرد را میتوان توسط یادگیری عمیق جبران کرد. از سمتی در مطالعات پیشین مرتبط کاستیهایی به چشم میخورد: بهندرت ویژگیهای زمانی-مکانی-فرکانسی بهطور همزمان استخراج شدهاند، به کمینه بودن پارامترهای شبکه کمتر اهمیت داده شده است، به عدم قطعیت سیگنالها در شبکههای عمیق توجهی نشده است، و در آخر، تاثیر تنظیم فراپارامترها کمتر مورد بررسی قرار گرفته است.
از این رو، در این پژوهش مدل محاسباتی ارائه شده که در مرحله اول، با اجرای الگوریتم الگوهای مکانی مشترک بر روی سیگنالهای موج نگاری مغزِ چند مقیاسی شده و محاسبه اوزان تبدیل، سیگنالها را از فضای سنسور به فضای الگوریتم الگوهای مشترک مکانی نگاشت دادیم. سپس، با معرفی معماری ترکیبی بر مبنای لایههای پیچشی، به یادگیری ریختشناسی سیگنالها در بعد زمان و کشف وابستگی سیگنالها در بعد باندهای فرکانسی پرداختهایم. همچنین تاثیر استفاده از دو روش تنظیم فراپارامترها که شامل روش نزول مختصات و روش بهینهسازی بیزی میشود بر عملکرد مدل پیشنهادی مورد بررسی قرار گرفت. در آخر، موفق شدیم با استفاده از مدل ترکیبی حاصل از شبکه پیچشی فشرده، شبکه حافظه کوتاه-بلند مدت و سیستم فازی و همچنین شبکه بیزی پیچشی راهبردی نیمه خودکار برای حل این چالش پیشنهاد کنیم، که رویکرد پیشنهادی توانست نتایج بهتری با دقت (۲/۸۹٪) نسبت به روشهای مرتبط (۷۳٪-۸۵٪) که پیشتر ارائه شد بود، دست یابد.
واژه‌های کلیدی: بازیهای شناختی، سیگنالهای موجنگاری مغز، پارامترهای شناختی زمانی-مکانی-فرکانسی، استخراج ویژگی، یادگیری عمیق.
Abstract:
Video games include logical and mental games that utilize the mental and physical abilities of users along with entertainment. Recently, these games also apply non-invasive neurological approaches like EEG to evaluate the improvement of mental rehabilitation of the users. Achieving an efficient and reliable method is essential to interpret a user’s brain wave and deliver an accurate response in biomedical signal processing. The main intention of this thesis is to learn the cognitive parameters like motor Imagery and special features like spatial-temporal and frequency that could evaluate the level of specific cognitive factor according to the brain activity of the users while playing a cognitive game.
However, EEG patterns exhibit high variability across time and uncertainty due to noise and it is a significant problem to be addressed in mental task as motor imagery. With the advent of Deep Learning and its considerable contributions to Artificial intelligence and data analysis, numerous efforts have been made to evaluate and analyze brain signals. Although these features are frequently taken out by deep approaches, they are infrequently mined all at once. However, the accuracy of EEG classification can be enhanced by completely extracting these features together. Furthermore, dissimilar extraction orders might cause diverse classification outcomes. In this case, a hybrid neural network containing LSTM and CNN networks has been exploited in some studies to simultaneous excerpt temporal and spatial features. Although the hybrid technique surpasses high-tech models, it has numerous limits. Some of these deficiencies are: the overfitting problem when the small dataset is used, the frequency features rarely considered in these models and most of deep learning methods on EEG suppose that EEG patterns are noise-free and stationary
In this study, to make use of neural activity phenomena, the feature extraction preprocessing is applied based on Multi-scale filter bank CSP. In the following, the hybrid series architecture named EEG-CLFCNet is proposed which extract the frequency and spatial features by Compact-CNN and the temporal features by the LSTM network. However, the classification results are evaluated by merging the fully connected network and fuzzy neural block. Here, the proposed method is further validated by the BCI competition IV-۲a and Physionet dataset and compare with two hyperparameter tuning methods, Coordinate-descent and Bayesian optimization algorithm. The proposed architecture that used fuzzy neural block and Bayesian optimization as tuning approach, improves classification accuracy (۸۹.۲۶%) in comparsion with the state-of-the-art literatures (۷۳%-۸۵%).
Keywords: Cognitive games, EEG signal processing; Spatial-temporal-frequency features, Deep learning; Convolution neural network.
|