Hand Gesture Classification Using Features of Multivariate Synchrosqueezing Transform Based Time-Frequency Matrix

El hareketi tanıma, insan-bilgisayar etkileşimi için anlamlı el hareketlerinin sınıflandırılmasına yönelik bir prosedürdür. Yüzey elektromiyografisi (sEMG), amaçlanan hareketlerle ilgili içsel bilgileri taşıdığı için el hareketi sınıflandırma çalışmalarında sıklıkla kullanılmaktadır. Bu tez çalışmasında, zaman-frekans (TF) matrislerinden çıkarılan özellikler ile TF matrislerinden Negatif Olmayan Matris Çarpanlarına Ayırma (NMF) yöntemiyle çıkarılan özelliklerin sınıflandırma başarısının karşılaştırılması sunulmaktadır. TF matrislerini elde etmek için 4 kanallı sEMG sinyaline Çok Değişkenli Senkron Sıkıştırma Dönüşümü (MSST) uygulandı. Çalışma on el hareketini gerçekleştiren kırk deneğin yüzey EMG (sEMG) sinyallerini içeren halka açık veri seti ile gerçekleştirildi. Çalışmada dört ortak TF momenti; TF matrisinin ortalaması, varyansı, çarpıklığı, basıklığı ve NMF methodu ile çıkarılan basıklık, çarpıklık, standart sapma, süreksizlik ve seyreklik el hareketi tanıma da kullanılmak üzere öznitelik olarak önerilmiştir. Test edilen jestlere ait özellik değişkenlerinin ayırt edici gücü Kruskal-Wallis (KW) testinden elde edilen p değerlerine göre değerlendirilmiştir. El hareketlerine ait sEMG sinyallerini ayırt etmede ortalama, varyans ve çarpıklık özelliklerinin istatistiksel olarak anlamlı olduğu, basıklığın ise daha az önemli olduğu belirlendi. NMF tabanlı özellikler incelendiği zaman el hareketlerinin sınıflandırılmasında istatiksel olarak en anlamlı özelliğin süreksizlik olduğu tespi edildi. Çalışmanın son bölümünde istatistiksel analizlerin sınıflandırma başarısına etkisini belirlemek amacıyla Makine Öğrenmesi (ML) tabanlı sınıflandırma algoritmaları uygulanmıştır. Sınıflandırma sonuçlarına bakıldığında NMF methodu ile çıkarılan özniteliklerin TF momentlerine göre daha yüksek sınıflandırma doğruluğu elde ettiği görülmektedir. Bununla birlikte, elde edilen sınıflandırma performansının hala iyileştirilmesi gerekmektedir. EMG tabanlı el hareketi sınıflandırmasına etkileri araştırılan MSST matrislerinden elde edilen farklı özelliklerin, farklı özellik kombinasyonları veya modelleri kullanılarak geliştirilebileceği görülmektedir. Bu sonuçlar doğrultusunda ileri araştırmalarla MSST tabanlı özelliklerin el hareketi sınıflandırmasına alternatif olabileceği öngörülmemektedir.