Jira 프로젝트 성공 예측 AI 연구: 애자일 프로젝트 관리에서 설명가능한 AI의 성능과 한계

Jira 데이터를 기반으로 애자일 프로젝트의 성공·난항·실패를 분류하는 AI를 표현한 이미지. 연구에서는 효율성·효과성·지속가능성·상황적 위험을 거치는 개념 병목 모델을 활용해 예측 과정의 설명 가능성을 분석했다.

Jira 이슈 1만 건과 180개 Epic을 분석한 연구에서 설명가능한 AI가 애자일 프로젝트 성공·난항·실패를 어떻게 분류했는지, 그리고 높은 예측 정확도를 그대로 실제 프로젝트 성공 예측으로 해석하면 안 되는 이유를 살펴본다.

Jira 데이터로 프로젝트 성공을 예측한 AI 연구 핵심 요약

영국 University of Portsmouth(포츠머스대학교) 연구진은 Jira 이슈 10,000건에서 선정한 180개 Epic과 14개 팀을 분석했다. 일반 LightGBM 모델의 macro-F1은 0.864였고, 효율성·효과성·지속가능성·상황적 위험을 거쳐 결과를 판단하는 개념 병목 AI 모델은 0.843을 기록했다. 그러나 해결 날짜가 확인된 76개 Epic만 따로 분석하자 LightGBM의 macro-F1은 0.645까지 떨어졌다. 연구진은 이 결과를 실제 사업 성공을 독립적으로 예측한 성과가 아니라 Jira 데이터를 바탕으로 한 전문가의 사후 평가를 AI가 얼마나 잘 재현했는지를 보여주는 결과로 해석했다.

설명가능한 AI는 애자일 프로젝트의 성공과 실패 원인을 어떻게 진단했나

프로젝트 관리에 인공지능을 적용할 때 정확도만큼 중요한 문제는 AI가 왜 특정 프로젝트를 위험하다고 판단했는지 설명할 수 있느냐는 점이다. 단순한 위험 점수만으로는 프로젝트 관리자가 어떤 문제를 먼저 해결해야 하는지 판단하기 어렵기 때문이다.

University of Portsmouth(포츠머스대학교)의 Ali Akbar ForouzeshNejad와 Alexander Gegov 연구진은 이 문제를 개념 병목 모델(Concept Bottleneck Model)로 접근했다. 개념 병목 모델이란 원본 데이터를 바로 최종 결과에 연결하지 않고, 사람이 이해할 수 있는 중간 개념을 먼저 예측한 뒤 그 개념만 사용해 최종 결과를 판단하는 인공지능 구조를 말한다.

연구진은 프로젝트 상태를 효율성, 효과성, 지속가능성, 상황적 위험이라는 네 가지 개념으로 나눴다. AI는 Jira 데이터를 이용해 이 네 가지 상태를 먼저 추정한 뒤 Epic을 Successful, Challenged, Unsuccessful 가운데 하나로 분류했다. 이 연구는 2026년 8월 26일 MDPI 학술지 AI에 게재됐다.

Jira 이슈 10,000건 가운데 실제 AI 학습에 사용된 데이터는 180개 Epic이었다

연구진이 확보한 Jira 백업 데이터에는 2026년 4월 14일 기준 10,000개의 고유 이슈와 279개의 Epic이 포함돼 있었다. 그러나 전문가 평가와 결과 라벨까지 모두 확보된 최종 분석 대상은 14개 팀의 180개 Epic이었다. 따라서 이 연구의 실제 지도학습 표본은 Jira 이슈 10,000건이 아니라 180개의 Epic이었다.

180개 Epic 가운데 Successful은 41개로 22.8%, Challenged는 81개로 45.0%, Unsuccessful은 58개로 32.2%였다. 연구진은 같은 팀의 프로젝트가 훈련 데이터와 시험 데이터에 동시에 포함되면서 성능이 부풀려지는 문제를 줄이기 위해 Team_ID를 기준으로 5겹 그룹 교차검증을 적용했다.

AI에 입력한 핵심 Jira 변수는 총 13개였다. 완료 비율, 중단 비율, 버그 비율, 전체 이슈 수, Story Point, 완료된 Story Point, 의존성 수, 참여 인원, Sprint 수, 높은 우선순위 이슈 비율 등이 포함됐다. 반면 Duration Days와 Lead Time처럼 해결 날짜에 의존하는 변수는 주 분석에서 제외했다. 180개 Epic 가운데 명시적인 해결 날짜가 존재하는 사례가 76개뿐이었기 때문이다.

애자일 프로젝트 성공 예측 정확도는 LightGBM이 개념 병목 AI보다 높았다

프로젝트 성공 예측 모델 비교에서는 설명 가능한 계층 구조를 사용한 AI가 기존 머신러닝보다 더 높은 성능을 보이지 않았다. LightGBM의 정확도는 0.879, 균형 정확도는 0.891, macro-F1은 0.864였다. Random Forest의 macro-F1은 0.870으로 가장 높았다. 개념 병목 방식인 HMXAI/CBM-style 모델의 macro-F1은 0.843이었다.

모델	정확도	균형 정확도	Macro-F1
Random Forest	0.878	0.890	0.870
LightGBM	0.879	0.891	0.864
개념 병목 AI	0.857	0.870	0.843
순서형 로지스틱 회귀	0.740	0.780	0.721

LightGBM과 개념 병목 AI의 예측 결과가 서로 달랐던 사례는 전체 180개 가운데 14개였다. LightGBM만 맞힌 사례는 9개, 개념 병목 AI만 맞힌 사례는 5개였으며 정확한 McNemar 검정의 p값은 0.424였다. 연구진은 표본이 작아 두 모델의 우열이나 동등성을 통계적으로 확정할 수 없다고 설명했다.

따라서 이 논문의 핵심은 새로운 설명가능한 AI가 기존 모델보다 정확했다는 데 있지 않다. 개념 병목 AI의 의미는 모든 데이터를 네 가지 사람이 이해할 수 있는 프로젝트 관리 개념으로 통과시켜 AI의 판단 구조를 점검할 수 있게 했다는 데 있다.

Jira 프로젝트 실패 예측에서 가장 중요한 변수는 완료 비율과 중단 비율이었다

Jira 데이터에서 프로젝트 성공과 실패를 구분하는 데 가장 큰 영향을 준 변수는 Completion Ratio와 Abandoned Ratio였다. Completion Ratio는 Epic에 연결된 전체 이슈 가운데 완료되거나 해결된 이슈의 비율을 뜻하며, Abandoned Ratio는 중단·취소·미완료 상태의 작업이 차지하는 비율을 뜻한다.

왜 완료 비율과 중단 비율이 중요했을까. 전체 Jira 변수를 사용한 LightGBM의 macro-F1은 0.864였지만 Completion Ratio와 Abandoned Ratio를 제거하자 macro-F1이 0.519까지 하락했다. 반면 이슈 수와 Story Point 같은 작업량·범위 관련 변수를 제거했을 때 macro-F1은 0.878로 오히려 소폭 상승했다.

SHAP 분석에서도 Completion Ratio와 Abandoned Ratio가 가장 영향력이 큰 변수로 나타났다. SHAP이란 AI가 하나의 예측을 만들 때 각각의 입력 변수가 결과에 얼마나 기여했는지를 계산하는 설명가능한 AI 기법이다.

이 결과는 프로젝트 관리 AI를 해석할 때 중요한 경고가 된다. AI가 프로젝트 성공과 실패의 깊은 원인을 학습했다기보다 프로젝트가 이미 얼마나 완료됐고 얼마나 많은 작업이 남아 있는지를 통해 전문가의 사후 평가를 맞혔을 가능성이 있기 때문이다.

해결된 Epic만 분석하자 프로젝트 성공 예측 성능이 0.864에서 0.645로 떨어졌다

연구진이 해결 날짜가 확인된 Epic만 따로 분석하자 모델 성능은 크게 낮아졌다. 전체 180개 Epic에서 LightGBM의 macro-F1은 0.864였지만 해결 날짜가 존재하는 76개 Epic만 남기자 0.645로 약 0.22 떨어졌다. 같은 조건에서 Random Forest의 macro-F1은 0.714, 개념 병목 AI는 0.540이었다.

특히 Unsuccessful로 분류된 58개 Epic 가운데 48개, 즉 82.8%에는 명시적인 해결 날짜가 없었다. Challenged Epic에서 해결 날짜가 없는 비율은 48.1%, Successful Epic에서는 41.5%였다. 실패 그룹에 미해결 상태가 집중돼 있다는 점은 AI가 실패의 본질적 원인보다 Jira의 현재 상태를 강한 신호로 활용했을 가능성을 보여준다.

머신러닝에서 이런 현상은 shortcut learning, 즉 지름길 학습이라고 부른다. 지름길 학습이란 AI가 우리가 의도한 본질적인 규칙을 학습하는 대신 결과와 쉽게 연결되는 단순한 신호를 이용해 정답을 맞히는 현상을 말한다.

개념 병목 AI는 효율성·효과성·지속가능성·상황적 위험을 얼마나 정확히 재현했나

개념 병목 AI의 장점은 최종 성공 여부보다 중간 진단 과정에서 나타났다. Jira 데이터를 이용해 전문가가 평가한 네 가지 개념을 얼마나 잘 재현했는지 측정한 R²는 효율성 0.773, 지속가능성 0.717, 상황적 위험 0.678, 효과성 0.656이었다.

효율성이 가장 높은 R²를 보인 이유는 완료율과 작업 흐름처럼 Jira에서 직접 확인할 수 있는 정보와 밀접하기 때문이다. 반면 효과성은 실제 가치 실현이나 결과물의 유용성과 연결되는 개념이어서 Jira 기록만으로 완전히 포착하기 어렵다는 해석이 가능하다.

전문가 6명의 평가 일치도 역시 높았다. ICC(2,k)는 효율성 0.945, 효과성 0.892, 지속가능성 0.902, 상황적 위험 0.866이었다. 연구진은 이 결과를 전문가들이 같은 평가 기준을 비교적 일관되게 적용했다는 증거로 해석했다.

그러나 네 개 개념은 서로 독립적인 신호가 아니었다. 효율성·효과성·지속가능성 사이의 Spearman 상관계수는 0.833~0.857이었고, 세 긍정적 개념과 상황적 위험의 상관계수는 -0.843~-0.869였다. 즉 프로젝트가 효율적이고 효과적이며 지속가능하다고 평가될수록 상황적 위험은 낮게 평가되는 강한 경향이 있었다.

AI가 프로젝트 성공률을 완벽히 맞힌 결과가 오히려 한계로 해석된 이유

전문가가 직접 평가한 네 개 개념을 그대로 입력하면 최종 성공·난항·실패 라벨을 180개 모두 정확히 재현할 수 있었고 macro-F1은 1.000이었다. 겉으로 보면 완벽한 성능처럼 보이지만 연구진은 이를 실제 프로젝트 성공을 완벽하게 설명했다는 증거로 보지 않았다.

그 이유는 전문가가 효율성·효과성·지속가능성·상황적 위험을 평가할 때 사용한 Jira 증거와 최종 Successful·Challenged·Unsuccessful 라벨을 정할 때 참고한 증거가 서로 겹쳤기 때문이다. 따라서 높은 분류 성능은 독립적인 외부 성공 지표를 맞힌 결과가 아니라 같은 평가 규칙 내부의 강한 결합을 반영했을 가능성이 크다.

연구진은 이러한 문제를 label circularity와 concept-label coupling으로 설명했다. 실제 프로젝트 성공 예측을 검증하려면 Jira 데이터와 별도로 고객 만족도, 실제 사업 가치, 스폰서 승인, 제품 사용률, 운영 도입 여부, 출시 후 편익 같은 독립적인 결과 지표가 필요하다.

설명가능한 AI가 프로젝트 관리자에게 바로 행동 지침을 주지는 못했다

개념 병목 모델의 또 다른 장점은 사람이 중간 개념을 조정했을 때 최종 예측이 어떻게 바뀌는지 확인할 수 있다는 점이다. 연구진은 각 개념 값을 1점씩 높이거나 낮추는 개입 실험을 수행했다.

그러나 개념을 좋은 방향으로 바꿨다고 해서 최종 예측이 항상 예상한 방향으로 움직이지는 않았다. 효율성에서는 예상된 단조성이 완전히 유지됐지만 효과성에서는 약 78.3~81.1%, 지속가능성에서는 78.3~82.8%, 상황적 위험에서는 약 93.3%에서만 예상 방향과 일치했다.

따라서 설명 가능한 구조를 갖췄다는 사실만으로 AI가 프로젝트 관리자에게 실행 가능한 처방을 제공한다고 볼 수 없다. 사람이 이해할 수 있는 개념과 실제로 유효한 관리 개입 사이에는 별도의 검증이 필요하다.

Jira 기반 프로젝트 성공 예측 AI를 실제 기업에서 사용할 때 확인해야 할 조건

이번 연구는 Jira 데이터를 이용한 애자일 프로젝트 진단 AI가 어디까지 가능하고 어디서 한계가 발생하는지를 동시에 보여준다. 높은 macro-F1이 나왔다고 해서 그 모델이 미래의 프로젝트 성공을 정확하게 예측한다고 단정해서는 안 된다.

실제 조직에서 프로젝트 성공 예측 AI를 구축하려면 현재 Jira 상태와 독립적인 성공 지표를 확보해야 한다. 예를 들어 고객 만족도, 출시 후 사용률, 수익이나 비용 절감 효과, 비즈니스 목표 달성 여부, 이해관계자 승인과 같은 외부 결과를 AI의 평가 기준으로 사용하는 방식이 필요하다.

또한 한 시점의 과거 데이터를 사후 분석하는 방식이 아니라 프로젝트가 진행 중일 때 미래 결과를 예측하고 이후 실제 결과와 비교하는 전향적 검증이 필요하다. 다른 기업과 팀에서도 같은 성능이 나오는지 확인하는 외부 검증 역시 필수적이다.

자주 묻는 질문: Jira 프로젝트 성공 예측과 설명가능한 AI

Jira 데이터만으로 프로젝트 성공과 실패를 정확히 예측할 수 있나

이 연구만으로는 그렇게 결론 내릴 수 없다. 연구진은 Jira 증거와 전문가 평가가 서로 겹쳐 있기 때문에 이번 결과를 실제 프로젝트 성공에 대한 독립적이고 전향적인 예측으로 해석하지 않았다.

개념 병목 AI가 LightGBM이나 Random Forest보다 더 정확했나

아니다. 개념 병목 AI의 macro-F1은 0.843으로 LightGBM의 0.864와 Random Forest의 0.870보다 낮았다. 개념 병목 AI의 강점은 정확도 향상보다 판단 과정을 효율성·효과성·지속가능성·상황적 위험으로 나눠 살펴볼 수 있다는 점이다.

Jira 프로젝트 실패 예측에서 가장 중요한 변수는 무엇이었나

Completion Ratio와 Abandoned Ratio가 가장 중요한 변수였다. 두 변수를 제거하자 LightGBM의 macro-F1이 0.864에서 0.519로 떨어져 모델이 프로젝트의 완료 상태와 중단 상태에 크게 의존하고 있음을 보여줬다.

이 설명가능한 AI 모델을 실제 프로젝트 관리에 바로 사용할 수 있나

아직 바로 적용할 단계는 아니다. 연구 대상이 단일 조직의 180개 Epic에 한정됐고 독립적인 사업 성과 지표나 실제 프로젝트 관리자를 대상으로 한 사용자 검증이 없었다. 다른 조직과 미래 프로젝트를 대상으로 추가 검증이 필요하다.

프로젝트 성공 예측 AI에서 중요한 것은 높은 정확도보다 올바른 근거다

이번 연구가 주는 가장 중요한 의미는 프로젝트 관리 AI의 높은 정확도를 그대로 신뢰해서는 안 된다는 점이다. Jira에는 완료 여부, 중단 작업, 버그, 의존성처럼 프로젝트 상태를 설명하는 풍부한 데이터가 존재하지만 이러한 정보는 동시에 사후 성공·실패 평가와 지나치게 가까운 신호가 될 수 있다.

설명가능한 AI는 단순한 성공 확률 대신 효율성, 효과성, 지속가능성, 상황적 위험이라는 사람이 이해할 수 있는 구조를 제공할 수 있다. 프로젝트 관리자는 이런 구조를 통해 AI가 어떤 유형의 문제를 감지했는지 확인할 수 있다.

그러나 설명할 수 있다는 것과 올바른 행동을 제시한다는 것은 같은 의미가 아니다. 연구에서 일부 개념을 개선했을 때 예측 결과가 항상 예상한 방향으로 바뀌지 않았다는 점이 이를 보여준다.

앞으로 프로젝트 성공 예측 AI가 실제 의사결정 도구가 되려면 Jira 외부의 독립적인 사업 성과와 연결돼야 한다. 고객 가치, 제품 사용, 사업 성과, 프로젝트 종료 후 효과 같은 데이터를 함께 사용해야 AI가 단순히 Jira 상태를 재현하는 수준을 넘어 실제 성공 가능성을 평가할 수 있다.

출처

ForouzeshNejad, A. A., & Gegov, A. (2026). A concept-bottleneck explainable AI framework for diagnosing Agile delivery outcomes. AI, 7, 331. https://doi.org/10.3390/ai7090331