바이트(Byte) 기준 평가가 필요한 이유: 지속학습 AI 성능 비교의 새로운 기준

지속학습(Continual Learning) 분야에서는 지금까지 대부분의 연구가 저장하는 데이터의 개수(Item 수)를 동일하게 맞춘 뒤 성능을 비교해 왔다. 하지만 실제 AI가 동작하는 스마트폰, 자율주행차, 엣지 디바이스는 저장 개수가 아니라 메모리 용량(Byte)을 기준으로 제한을 받는다. 

이번 Harrisburg University 연구진은 이러한 문제를 해결하기 위해 동일한 바이트(Byte) 예산에서 AI 모델을 비교하는 새로운 평가 프로토콜(Equal-Byte Non-Inferiority Protocol)을 제안했다. 연구 결과는 새로운 평가 방식 자체는 의미가 있었지만, 실험 대상으로 사용한 2단계 메모리 구조(Two-Tier Consolidation Memory)는 기존 방법보다 우수하다는 근거를 보여주지 못했다.

지속학습 평가 방식의 한계

지속학습은 새로운 데이터를 계속 학습하면서도 이전에 학습한 내용을 잊지 않는 AI 기술이다. 이를 위해 과거 데이터를 일부 저장해 다시 학습하는 Replay 기반 방법이 널리 사용된다.

기존 연구에서는 "200개 저장", "500개 저장"처럼 저장 데이터 개수만 동일하게 맞춰 성능을 비교하는 것이 일반적이었다. 그러나 저장 방식에 따라 실제 메모리 사용량은 크게 달라진다.

예를 들어 Split-CIFAR-100 데이터셋에서는 원본 이미지를 저장하면 약 3,072Byte가 필요하지만, 압축된 특징 벡터는 약 1,024Byte만 사용한다. 반대로 원본 이미지와 로짓(Logit)을 함께 저장하는 방식은 약 3,472Byte가 필요하다. 즉, 같은 200개의 데이터를 저장하더라도 실제 메모리 사용량은 최대 3배 이상 차이가 발생한다. 연구진은 이러한 방식으로는 실제 배포 환경에서 어떤 방법이 더 효율적인지 객관적으로 판단하기 어렵다고 설명했다.

Equal-Byte Non-Inferiority Protocol의 핵심

이번 연구의 핵심은 모든 AI 모델이 동일한 메모리(Byte)를 사용하도록 맞춘 뒤 성능을 비교하는 평가 기준을 제안한 것이다.

연구진은 동일한 메모리 예산 안에서 모든 알고리즘을 실행한 후, 미리 등록한 8개의 기준 알고리즘 가운데 가장 성능이 우수한 모델을 비교 대상으로 자동 선택했다. 이후 비열등성(Non-Inferiority) 검정을 수행하여 후보 모델의 정확도가 허용 오차(ΔNI=0.05)를 초과해 떨어지지 않는지를 평가했다. 또한 Holm-Bonferroni 다중 비교 보정을 적용하여 통계적 신뢰성을 확보했다.

이러한 절차를 통해 단순히 "더 높은 정확도"를 비교하는 것이 아니라, 실제 메모리 제약 환경에서도 충분한 경쟁력을 갖추었는지를 평가할 수 있도록 설계했다.

연구 방법

연구진은 새 프로토콜을 두 개의 대표적인 벤치마크에서 검증했다. 첫 번째는 이미지 분류 데이터셋인 Split-CIFAR-100이며, 두 번째는 추상적 추론 능력을 평가하는 Abstraction and Reasoning Corpus(ARC)이다.

실험에는 8개의 Replay 기반 지속학습 알고리즘과 4개의 메모리(Byte) 예산을 사용했으며, 각 조건마다 10개의 랜덤 시드(Random Seed)를 적용했다. 전체 실험 횟수는 약 1,260회에 달했다.

후보 모델은 최근 데이터를 원본 상태로 저장하는 빠른 메모리(Tier 1)와 오래된 데이터를 압축 저장하는 느린 메모리(Tier 2)로 구성된 2단계 메모리 구조(Two-Tier Consolidation Memory)를 사용했다.

핵심 연구 결과

이번 연구에서 가장 중요한 결과는 평가 프로토콜의 성공과 후보 모델의 성능을 분리해서 해석해야 한다는 점이다.

연구진이 제안한 Equal-Byte 평가 방식은 메모리(Byte)를 동일하게 맞춘 상태에서 AI 모델을 비교할 수 있는 재현 가능한 평가 기준이라는 점에서 의미를 입증했다.

반면 실험 대상으로 사용한 2단계 메모리 구조는 두 개의 벤치마크 모두에서 모든 메모리 예산 구간에 대해 비열등성 검정을 통과하지 못했다. 대부분의 실험에서는 Class-Mean Herding, Gradient-based Sample Selection, DER++와 같은 기존 Replay 알고리즘이 더 높은 정확도를 기록했다.

연구진은 논문에서 이러한 결과를 "명확한 부정적 결과(Clean Negative Decision)"라고 표현했다. 즉, 새로운 평가 방식은 성공적이었지만 이를 검증하기 위해 사용한 AI 구조는 기존 방법보다 경쟁력이 부족했다는 결론이다.

이번 연구의 의미

AI 연구에서는 새로운 알고리즘을 제안하는 것뿐 아니라 공정한 평가 기준을 만드는 일도 매우 중요하다. 이번 연구는 기존의 Equal-Item 평가 방식 대신 실제 하드웨어 환경을 반영하는 Equal-Byte 평가 방식을 제안했다는 점에서 의미가 크다.

특히 스마트폰, 자율주행차, 로봇, IoT 기기, 엣지 AI처럼 메모리 사용량이 제한되는 환경에서는 저장 데이터 개수보다 실제 메모리(Byte)를 기준으로 성능을 비교하는 것이 더욱 현실적인 접근이 될 수 있다.

연구의 한계와 향후 전망

이번 연구는 Replay Buffer의 저장 용량만을 비교 대상으로 삼았으며, 모델 파라미터 크기, GPU 메모리 사용량, 계산량(FLOPs) 등은 평가 대상에 포함하지 않았다.

또한 Replay 기반 지속학습 방법만 비교했으며, 생성형 Replay나 Feature Replay 등 다른 접근법은 향후 연구 과제로 남겨두었다. 연구진은 앞으로 전체 메모리 사용량과 계산 비용까지 함께 고려하는 평가 체계로 확장할 계획이라고 밝혔다.

자주 묻는 질문

Q. 지속학습(Continual Learning)이란 무엇인가?
A. 지속학습은 새로운 데이터를 계속 학습하면서도 이전에 학습한 내용을 최대한 유지하는 머신러닝 기술이다. 대표적인 문제는 새로운 학습으로 인해 기존 지식을 잃는 Catastrophic Forgetting이다.

Q. Equal-Byte 평가는 기존 방식과 무엇이 다른가?
A. 기존 평가는 저장 데이터 개수를 동일하게 맞췄지만, Equal-Byte 평가는 실제 메모리 사용량(Byte)을 동일하게 맞춘다. 따라서 실제 배포 환경을 더욱 현실적으로 반영할 수 있다.

Q. 이번 연구에서 제안한 AI 모델은 기존보다 뛰어났나?
A. 아니다. 연구진이 제안한 평가 프로토콜은 의미가 있었지만, 실험에 사용한 2단계 메모리 구조는 모든 실험 조건에서 기존 최고 성능 모델보다 우수하지 않은 것으로 나타났다.

Q. 이번 연구의 가장 큰 기여는 무엇인가?
A. 핵심 기여는 새로운 AI 구조가 아니라 메모리(Byte)를 기준으로 지속학습 알고리즘을 공정하게 비교할 수 있는 재현 가능한 평가 프로토콜을 제안한 것이다.

출처

Polu, L. K., Vaida, M. L., & Syal, A. (2026). An Equal-Byte Non-Inferiority Protocol for Storage-Aware, Reproducible Evaluation of Replay-Based Continual Learning. Machine Learning and Knowledge Extraction, 8, 212. https://doi.org/10.3390/make8070212