2026-09-18T17:44:59.721676071Zhttps://dspace.ankara.edu.tr/server/oai/request

oai:dspace.ankara.edu.tr:20.500.12575/736622025-02-26T07:32:38Zcom_20.500.12575_70col_20.500.12575_72

Keleş, Hacer Yalım Tur, Anıl Osman Fen Bilimleri Enstitüsü 2021-08-02T13:23:07Z 2021-08-02T13:23:07Z 2021 http://hdl.handle.net/20.500.12575/73662 Video akışlarından ayrık işaret tanıma, yerel ve küresel el özelliklerinin ve yüz hareketlerinin aynı anda değerlendirilmesi gereken işaretlerin çok modelli doğası nedeni ile zor bir problemdir. Bunlara ek olarak bilgisayarlı görüdeki aydınlatma ve arka plandaki değişiklikler gibi temel sorunlar da eklenmektedir. Bu sorun son zamanlarda derin Evrişimli Sinir Ağı (CNN) tabanlı özellikler ve Uzun Kısa Süreli Bellek (LSTM) tabanlı derin dizi modelleri kullanılarak geniş çapta incelenmiştir. Fakat, mevcut literatürde derin öznitelikleri kullanan Gizli Markov Modelleri (HMM) ile yapılmış deneysel inceleme eksikliği bulunmaktadır. Bu çalışmada işaretlere ait RGB ve derinlik videolarından paralel öznitelik çıkarmak için kullanılan bir Siyam Sinir Ağı (SNN) mimarisi kurgulanmış ve bundan elde edilen sonuçlardan yararlanılarak modelde geliştirme yapılarak ikinci bir model tasarlanmıştır ve sonrasında bu düşük başarım gösteren model iyileştirilmiştir. Bu yapıların eğitimi için üzerinde çok az ön işlem uygulanmış veriler kullarnılarak modelin en az ön işlem ile öğrenmesi sağlanmıştır. Bu sayede hem yüksek başarımlı hem de az işlem gücü gerektiren bir model oluşturulmuştur. Bunlara ek olarak HMM modelleri ile yapılmış değerlendirme eksikliğinin giderilmesi ve işaret dili tanıma problemi için farklı modellerin geliştirilmesine yardımcı olacak model geliştirme aracı oluşturulmuştur. Bu çalışmanın sonucunda HMM modelleri ile çalışılır iken derin özniteliklerin boyutlarının genellikle çok büyük gelmesi sorununa yönelik bu özniteliklerin etkin bir şekilde küçültülmesini sağlayan iki farklı CNN tabanlı mimari önerilmiştir. Derin özniteliklerle yapılan analizler ile HMM yönteminin ayrık işaret tanıma problemi için derin dizi modellerine iyi bir alternatif olarak kullanılabileceği gösterilmiştir. Isolated Sign Recognition from video streams is a hard problem due to the multimodal nature of signs where local and global hand features and facial movements needs to be attended simultaneously. Additionally, Fundamental issues such as illumination and background changes in computer vision are hardening. This problem has been extensively studied using deep Convolutional Neural Network (CNN) based features and Long Short-Term Memory (LSTM) based deep sequence models. However, there is a lack of empirical analysis in the current literature with Hidden Markov Models (HMM) using deep features. In this study, a Siamese Neural Network (SNN) architecture, which is used to extract attributes from RGB and depth videos of the signs parallelly, has been constructed and with the use of the obtained results, a second model is designed to improve lower model. On training of the models, minimal preprocess is applied to the data to be able to generate models with both high performance and low processing power. In addition to these, a framework is created to help developing different models for the problem and HMM models are trained to eliminate the lack of experimental evaluation of HMMs with it. As a result of this study, two different CNN-based architectures have been proposed for the problem that the dimensions of deep features are often too large when working with HMM models. It has been shown that the HMM method can be used as a good alternative to deep array models for discrete signal recognition problem with the analysis made with deep features. tr Ankara: Ankara Üniversitesi : Fen Bilimleri Enstitüsü : Bilgisayar Mühendisliği Ana Bilim Dalı İşaret dili Derin öğrenme yöntemleri Derin öğrenme yöntemleri kullanarak etkin ayrık işaret dili tanıma sistemi geliştirme Development of an efficient isolated sign language recognition system based on deep learning methods masterThesis Tezopen.access