Multi-channel EEG-based emotion classification using deep neural networks Derin sinir ağları kullanarak çok kanallı EEG tabanlı duygu sınıflandırması

ÖZETDuygular, belirli bir nesnenin, olayın veya anın bir kişinin iç dünyasında yarattığı izlenimlerdir. Duygular hayatımızın önemli bir parçasıdır. Bu çalışmanın amacı, çok değişkenli senkrosıkıştırma dönüşümüne dayalı olarak görsel ve işitsel uyaranları kullanarak çok kanallı EEG sinyallerinden duyguları sınıflandırmaktır. Bu çalışmada 13 kadın ve 12 erkekten EEG sinyalleri alınmıştır. Grafik kullanıcı arayüzü (GUI), belirli zaman aralıklarında görsel ve işitsel uyaranları görüntülemek için tasarlanmıştır. Uluslararası Afektif Görüntü Sisteminden (IAPS) seçilen 48 resim ve aynı özelliklerde seçilen 12 resimden oluşan 60 görsel uyaran kullanılmıştır. Ayrıca Uluslararası Duyuşsal Sayısallaştırılmış Sesler Sisteminden (IADS) seçilen 48 ses ve aynı özelliklerde seçilen 12 sesten oluşan 60 işitsel uyaran uyaran kullanılmıştır. EEG sinyalleri elde edildikten sonra ön işleme yapılır ve uyaranların gösterildiği zaman aralıklarını elde etmek için uzun sinyaller segmentlere ayrılır. Çok değişkenli senkrosıkıştırma dönüşümü yöntemi ile 32 kanal eş zamanlı olarak işlenmiştir. Daha sonra elde edilen 2 boyutlu görüntüler derin öğrenme mimarisine girdi olarak verilmiştir. Bu çalışmada en bilinen evrişimli sinir ağı mimarilerinden AlexNet, VGG-19, GoogLeNet, ResNet-50 ve Inception-v3 mimarileri kullanılmıştır. En iyi AlexNet çıkmıştır ve bu nedenle diğer sınıflandırma senaryoları AlexNet üzerinden yürütüldü. Bu çalışmada önerilen modellerin sağlamlığını değerlendirmek için k-katlamalı çapraz doğrulama uygulanmış ve k değeri 3 olarak seçilmiştir. Uyarılma, valence ve baskınlıkta Kat-1, Kat-2, Kat-3 ve ortalama kat için performans ölçümleri yapılmıştır. AlexNet mimarisini görsel uyarılmada eğiterek, 71,60 ortalama doğruluk değerine, işitsel uyarılmada ise 70,58 ortalama doğruluk değerine ulaşılmıştır. Görsel değerlik için ortalama doğruluk değeri 67.93 iken işitsel değerlik için ortalama doğruluk değeri 70.58 idi. Görsel baskınlık için ortalama doğruluk değeri 65,40 iken, işitsel baskınlık için ortalama doğruluk değeri 72,60 olarak bulunmuştur. Sonuçlar, önerilen yöntemin duyguları sınıflandırmak için umut verici bir performans gösterdiğini kanıtlamıştır. Önerilen yöntem, hesaplama maliyetini azaltmış ve sınıflandırma performansını önemli ölçüde iyileştirmiştir.ABSTRACTEmotions are the impressions that a particular object, event or moment creates in the inner world of a person. Emotions are an important part of our lives. The aim of this study is to classify emotions from multi-channel EEG signals using visual and auditory stimuli based on multivariate synchrosqueezing transform. In this study, EEG signals were obtained from 13 women and 12 men. The graphical user interface (GUI) is designed to display visual and auditory stimuli at specific time intervals. The 60 visual stimuli consisting of 48 images selected from the International Affective Image System (IAPS) and 12 images selected with the same characteristics were used. In addition, 60 auditory stimuli consisting of 48 voices selected from the International Affective Digitized Sounds System (IADS) and 12 voices selected with the same characteristics were used. Preprocessing is done after the EEG signals are obtained and long signals are segmented to obtain the time intervals in which the stimuli are shown. With the multivariate synchrosqueezing transform method, 32 channels were processed simultaneously. Then the 2D images obtained were given as input to the deep learning architecture. In this study, AlexNet, VGG-19, GoogLeNet, ResNet-50 and Inception-v3 architectures were used, which are among the most known convolutional neural network architectures. The best AlexNet came out and therefore other classification scenarios were executed over AlexNet. The k-fold cross validation was adopted to evaluate the robustness of the models proposed in this study and the k value was chosen as 3. Performance measurements were made for Fold-1, Fold-2, Fold-3, and average fold in valence, arousal and dominance. By training the AlexNet architecture in visual arousal, an average accuracy value of 71.60 was reached, while an average accuracy value of 70.58 was achieved in auditory arousal. The average accuracy value for visual valence was 67.93, while the average accuracy value for auditory valence was 70.58. While the average accuracy value for visual dominance was 65.40, the average accuracy value was 72.60 for auditory dominance. The results demonstrated that the proposed method achieved promising performance to classify the emotions. The proposed method reduced the computational cost, and significantly improved the classification performance.