스트레스 감지 AI의 새로운 접근법, 거대한 AI보다 가벼운 모델이 비슷한 성능을 낸 이유

DR-Transformer는 희소 어텐션과 지도 대조학습을 결합해 소셜미디어 게시글에서 스트레스 신호를 보다 정확하고 효율적으로 탐지하도록 설계된 경량 Transformer 모델이다.

희소 어텐션과 대조학습을 결합한 DR-Transformer가 정확도와 해석 가능성을 동시에 높였다.

소셜미디어에는 스트레스와 불안, 우울감을 드러내는 글이 매일 수없이 올라온다. 이러한 글을 자동으로 분석하면 정신건강 연구나 온라인 상담, 콘텐츠 관리에 도움을 줄 수 있다. 하지만 기존의 Transformer 기반 AI는 성능은 뛰어나도 왜 특정 글을 스트레스로 판단했는지 이해하기 어렵고, 학습과 운영에 고성능 GPU가 필요한 경우가 많았다.

이번 연구에서는 이러한 문제를 해결하기 위해 DR-Transformer(Dual-Regularized Transformer)라는 새로운 모델을 제안했다. 연구진은 기존 Transformer에 두 가지 학습 기법을 결합해 정확도를 높이면서도 중요한 단어에 집중하는 구조를 만들었고, 약 950만 개의 매개변수만으로도 1억 1천만 개 이상의 매개변수를 가진 MentalBERT와 거의 같은 수준의 성능을 달성했다.

기존의 스트레스 탐지 AI에는 한계가 있다

최근 자연어 처리 기술은 SNS 게시글만으로 스트레스나 우울 위험을 예측하는 수준까지 발전했다. 그러나 실제 활용에는 두 가지 문제가 있었다.

첫 번째는 해석 가능성이다. AI가 어떤 단어와 문장을 근거로 스트레스를 판단했는지 명확히 알기 어려웠다. 의료진이나 콘텐츠 관리자 입장에서는 결과만 제시되는 AI를 그대로 신뢰하기 어렵다.

두 번째는 계산 비용이다. 최신 모델들은 대부분 수억 개 이상의 매개변수를 사용하기 때문에 일반적인 개인용 컴퓨터에서는 학습이 어렵다.

연구진은 "조금 더 작은 모델이라도 중요한 정보에 집중하도록 만들면 충분히 경쟁력 있는 성능을 낼 수 있다"는 가설을 검증하고자 했다.

중요한 단어만 집중하도록 만든 새로운 학습 방식

DR-Transformer의 핵심은 두 가지 규제(Regularization)를 동시에 적용한 것이다.

첫 번째는 희소 어텐션(Sparse Attention)이다.

Transformer는 문장의 모든 단어를 서로 비교하지만, 실제로는 일부 핵심 단어만 중요한 경우가 많다. 연구진은 Query와 Key 행렬에 그룹 희소성(Group Sparsity) 규제를 적용해 중요하지 않은 입력 차원을 자연스럽게 제거하도록 만들었다.

그 결과 모델은 "sleep", "struggle", "cannot"처럼 스트레스를 나타내는 핵심 표현에 훨씬 집중하는 어텐션 패턴을 보였다.

두 번째는 지도 대조학습(Supervised Contrastive Learning)이다.

같은 스트레스 그룹의 문장은 서로 가까운 위치에, 다른 그룹의 문장은 멀리 떨어지도록 임베딩 공간을 학습시켰다. 쉽게 말하면 스트레스 글과 일반 글을 더욱 명확하게 구분하도록 학습한 것이다.

3,553개의 Reddit 데이터를 이용해 성능을 검증했다

실험에는 공개 데이터셋인 Dreaddit이 사용됐다.

• 전체 데이터: 3,553개 게시글
• 학습 데이터: 2,838개
• 테스트 데이터: 715개
• 스트레스/비스트레스 이진 분류
• 동일한 조건에서 5회 반복 실험

비교 대상은 Logistic Regression, BiLSTM, 동일 구조의 일반 Transformer, MentalBERT, 그리고 다양한 DR-Transformer 변형 모델이었다. 모든 실험은 동일한 평가 기준(F1 Score, Accuracy, AUC 등)을 사용해 진행됐다.

더 작은 모델이 대형 모델과 거의 같은 성능을 기록했다

가장 중요한 결과는 분류 성능이었다. DR-Transformer의 F1 Score는 0.876을 기록했다.

• Logistic Regression: 0.742
• BiLSTM: 0.795
• 일반 Transformer: 0.842
• MentalBERT: 0.879
• DR-Transformer: 0.876

일반 Transformer보다 성능이 유의하게 향상됐으며(F1 0.842 → 0.876), MentalBERT와는 통계적으로 의미 있는 차이가 나타나지 않았다.

더욱 흥미로운 점은 모델 크기다. MentalBERT는 약 1억 1천만 개의 매개변수를 사용하는 반면 DR-Transformer는 약 950만 개만 사용했다. 즉 약 12배 작은 모델이 거의 같은 수준의 성능을 낸 것이다.

왜 이런 결과가 나왔는가

연구진은 두 가지 기술이 서로 다른 역할을 수행한다고 설명한다.

희소 어텐션은 모델이 중요한 단어에만 집중하도록 만들어 불필요한 정보의 영향을 줄였다.

반면 지도 대조학습은 같은 의미를 가진 문장을 임베딩 공간에서 자연스럽게 모으고 다른 의미의 문장은 멀리 떨어뜨려 분류 경계를 더욱 선명하게 만들었다.

실제로 어텐션 가중치 가운데 거의 0에 가까운 값의 비율은 기존 Transformer의 0.215에서 0.682까지 증가했다. 또한 문장 임베딩의 분리 정도를 나타내는 실루엣 점수도 0.312에서 0.483으로 향상됐다. 이는 모델이 단순히 정확도만 높인 것이 아니라 정보를 더 체계적으로 표현하도록 학습됐다는 의미다.

개인용 GPU에서도 학습 가능한 것이 큰 장점이다

최근 AI 연구는 대부분 대형 GPU 서버를 전제로 한다. 반면 DR-Transformer는 NVIDIA GTX 1660(6GB) 환경에서도 학습이 가능하도록 설계됐다.

• 학습 시간 약 37분
• GPU 메모리 사용량 4.8GB
• 매개변수 약 950만 개

반면 MentalBERT는 GPU 메모리 11.2GB와 약 68분의 학습 시간이 필요했다. 즉 일반적인 소비자용 그래픽카드에서도 충분히 학습과 실험이 가능하다는 점이 큰 장점으로 평가됐다.

사람을 대신하는 AI가 아니라 사람을 돕는 AI가 되어야 한다

연구진은 이 모델이 정신건강 전문가를 대체하기 위한 것이 아니라고 강조한다.

스트레스가 감지됐다고 해서 정신질환이나 위기 상황을 의미하는 것은 아니다. 잘못된 판단으로 인한 낙인효과를 막기 위해서는 반드시 전문가의 검토가 함께 이루어져야 하며, 개인정보 보호와 데이터 편향 문제 역시 해결해야 할 과제로 제시했다.

이번 연구가 의미 있는 이유는 더 큰 AI를 만드는 대신, 더 효율적이고 이해하기 쉬운 AI라는 새로운 방향을 제시했다는 점이다. 앞으로 정신건강 분석뿐 아니라 다양한 자연어 처리 분야에서도 작은 모델이 충분한 성능을 낼 수 있다는 가능성을 보여준 사례로 평가할 수 있다.

출처

Alaoui, M. C., Joudar, N.-E., & Ettaouil, M. (2026). DR-Transformer: A Dual-Regularized Transformer Combining Sparse Attention and Supervised Contrastive Learning for Interpretable Stress Detection in Social Media Text. AI, 7, 300. https://doi.org/10.3390/ai7080300