Enhancing mental health text classification on social media; a comparative analysis of traditional methods and deberta-v3-large fine-tunning

Abstract

Ruh sağlığı sorunları giderek artan bir halk sağlığı endişesi olup, bu sorunların erken teşhisine ilişkin metinlerin önemli bir kısmı artık sosyal medya platformlarından elde edilmektedir.Ancak kullanıcı tarafından üretilen metinlerin anlamsal belirsizliği, otomatik sınıflandırmayı zorlaştırmaktadır. Bu tez, ince ayar yapılmış bir Transformer modelinin ruh sağlığı metin sınıflandırmasında klasik ve hibrit referans modelleri geçip geçemediğini incelemektedir. Çalışmada, Reddit ve Twitter gönderilerini yedi ruh sağlığı etiketi altında toplayan, halka açık "Sentiment Analysis for Mental Health" adlı Kaggle veri seti kullanılmıştır. Referans çalışmayı (Aksoy, 2025) takiben veri seti, en kalabalık üç sınıfa (Normal, Depression, Suicidal) ve türetilmiş ikili bir varyanta (Normal, Depression/Suicidal) indirgenmiş, 80/10/10 katmanlı bölme uygulanmıştır. İlk aşamada, referans çalışmadaki TF-IDF tabanlı SVC, SGD ve Random Forest sınıflandırıcıları ile USE+BiLSTM hibrit modeli yeniden uygulanmış ve yayımlanmış değerlerin bir yüzde puanı içinde sonuçlar elde edilmiştir. İkinci aşamada DeBERTa-v3-Large modeli aynı veri bölmesi üzerinde ince ayar yapılmıştır. Önerilen model, üç sınıflı görevde %88.35 doğruluk ve 0.8712 makro F1, ikili görevde ise %98.97 doğruluk ve 0.9892 makro F1 elde etmiş; bu, en güçlü referans modelin yaklaşık 7-8 makro F1 puanı üzerindedir. Sonuçların sağlamlığı, önerilen yapılandırma üzerinde anlamlı bir iyileşme üretmeyen Optuna hiperparametre araması ve test makro F1 standart sapmasını 0.003'ün altında tutan beş katlı çapraz doğrulama ile teyit edilmiştir. Hata analizi, modelin örtük intihar düşüncesi içeren ifadelerin çoğunu doğru yakaladığını ancak kalan hatalarının Depression-Suicidal ekseninde toplandığını ortaya koymuştur.

Mental health issues are a growing public health concern, and a substantial amount of text relevant to their early detection is now sourced from social media platforms. The semantic ambiguity of user-generated text, however, makes automated classification difficult. This thesis examines whether a fine-tuned Transformer can outperform classical and hybrid baselines on a mental-health text classification task. The study uses the publicly available Kaggle dataset "Sentiment Analysis for Mental Health," which aggregates Reddit and Twitter posts under seven mental-health labels. Following the reference study (Aksoy, 2025), the corpus is restricted to its three most populated classes (Normal, Depression, Suicidal) and a derived binary variant (Normal, Depression/ Suicidal), with an 80/10/10 stratified split. In the first stage, the TF-IDF based SVC, SGD, and Random Forest classifiers and the USE+BiLSTM hybrid from the reference study are re-implemented; the reproduced models score within one accuracy point of the published values. In the second stage, DeBERTa-v3-Large is fine-tuned on the same data partition. The proposed model reaches 88.35% accuracy and 0.8712 macro F1 on the three-class task and 98.97% accuracy and 0.9892 macro F1 on the binary task, an improvement of about 7 to 8 macro F1 points over the strongest baseline. An Optuna hyperparameter search produced no further gain, and a five-fold cross-validation confirmed stability (test macro F1 std. below 0.003). An error analysis shows that the model recovers most implicit suicidal expressions while its remaining errors lie along the Depression-Suicidal axis.