🤖 사고 보고서도 이해하는 인공지능? — 표와 문장을 모두 읽는 GPT의 힘

 

 상징적 이미지: 교차로 한가운데 떠 있는 AI 큐브 — 숫자와 문장이 통합되어 ‘통찰’이라는 빛을 생성하는 장면.

수많은 교통사고 데이터, 그중 일부는 숫자이고 일부는 글이다. 그런데 지금까지의 분석은 이 둘 중 하나에만 집중하는 경우가 많았다. 표에 담긴 숫자만 보고 판단하거나, 서술된 문장만 읽고 사고를 해석한 것이다. 정말 그게 전부일까?

한 연구팀은 전혀 다른 접근을 시도했다. 표 형태의 정형 데이터와 서술형 사고 보고서를 하나로 합쳐 인공지능에게 읽히는 방식이다. 그리고 GPT-2부터 GPT-4.5까지, 다양한 세대의 대형 언어 모델(Large Language Model, LLM)을 활용해 이 데이터를 분석했다. 놀라운 건, 사람이 라벨링하지 않아도 AI가 ‘과실 여부’, ‘운전자의 행동’, ‘사고 원인’까지 추론할 수 있었다는 점이다. 이 기술이 당신의 도시 교통 시스템을 어떻게 바꿀 수 있을지 궁금하다면 계속 읽어보자.

---

```

원문: 표 형식과 텍스트 데이터 융합을 위한 멀티모달 학습: GPT 모델의 제로샷, 퓨샷, 파인튜닝 접근 (Multimodal Data Fusion for Tabular and Textual Data: Zero-Shot, Few-Shot, and Fine-Tuning of Generative Pre-Trained Transformer Models) (CC BY 4.0)

저자: Shadi Jaradat 외 5명 (Queensland University of Technology, Columbia University 등)

출판일: 2025년 4월 7일

저널: AI (MDPI)

```

---

## 🧩 숫자와 문장을 한 번에 다루는 ‘멀티모달 융합(MDF)’

이 연구의 핵심은 MDF(Multimodal Data Fusion) 프레임워크다. 사고 발생 시간, 도로 상태, 차량 종류 등의 정형 데이터(tabular data)를 자연어로 변환해, 사고 당시 상황을 서술한 비정형 서술형 데이터(textual narratives)와 합쳐서 분석하는 방식이다.

예를 들어 "속도 = 50mph"는 "시속 50마일로 주행 중"으로, "노면 상태 = 젖음(wet)"은 "도로가 젖어 있었다"로 변환된다. 이렇게 합쳐진 데이터를 GPT에게 입력하면, AI는 마치 사람처럼 전체 상황을 ‘읽고’, 사고의 원인과 결과를 추론할 수 있게 된다.

---

## 🧠 GPT-4.5의 퓨샷 학습, 사람 못지않은 분류 능력

연구진은 다양한 학습 방법을 비교했다. 제로샷(zero-shot), 퓨샷(few-shot), 파인튜닝(fine-tuning) 세 가지 전략을 적용해 성능을 비교한 결과는 다음과 같았다:

- 사고 심각도 분류: GPT-4.5 퓨샷 학습으로 98.9% 정확도

- 운전자 과실 여부 판단: GPT-4.5 퓨샷으로 98.1% 정확도

- 사고 요인 추출(Jaccard 점수): GPT-4.5 퓨샷 82.9%

- 운전자 행동 추출(Jaccard 점수): GPT-4.5 퓨샷 73.1%

GPT-2 모델은 파인튜닝 후에도 이보다 낮은 성능을 보였으며, GPT-3.5 역시 GPT-4.5에 비해 미세한 차이를 보였다. 흥미로운 점은, 도메인 특화 데이터로 파인튜닝된 GPT-2가 GPT-4.5에 거의 근접하는 성능을 보였다는 점이다.

---

정형 데이터와 서술 데이터를 AI에 입력하면 라벨이 출력되는 MDF 파이프라인 시각화.

## 📊 단일 데이터보다 ‘혼합’이 더 똑똑하다

실험은 단순한 데이터 분석이 아닌, 세 가지 조건을 비교하는 방식으로 진행됐다:

1. 정형 데이터만 사용

2. 텍스트만 사용

3. 정형+텍스트를 융합해서 사용

그 결과는 예상대로 혼합 데이터(MDF)가 가장 우수한 성능을 보였다. 예를 들어 운전자 과실 여부 분류 실험에서는 다음과 같은 결과가 나왔다:

- MDF 모델 정확도: 90%, F1-score: 94%

- 텍스트만 사용: 정확도 88%

- 정형 데이터만 사용: 정확도 84%

즉, 숫자와 문장을 같이 다루는 것이 ‘더 똑똑한’ 판단으로 이어진다는 것이다.

---

## 🧬 사고 분석의 새로운 미래

이 논문이 제시한 방법론은 단순히 교통사고 분석에 국한되지 않는다. 의료, 금융, 재난 대응 등 정형+비정형 데이터가 공존하는 모든 분야에 적용될 수 있다.

또한 GPT-4의 퓨샷 학습 능력은 기존의 수작업 데이터 라벨링 과정을 대체하거나 보완할 수 있는 잠재력을 보여준다. 특히 라벨이 부족하거나 얻기 어려운 분야에서는 엄청난 시간과 비용 절감이 가능하다.

---

## 🔍 하지만 이 방법에도 한계는 있다

물론 모든 문제를 해결하는 만능 열쇠는 아니다. 예를 들어 GPT 모델은 여전히 긴 입력 제한, 잠재적 환각(hallucination), 오분류 가능성 등의 단점을 가지고 있다. 또 본 연구에서 사용된 데이터는 특정 주(state)의 사고 보고서에 한정돼 있어, 일반화에는 주의가 필요하다.

---

#GPT4교통사고분석, #멀티모달데이터융합, #제로샷퓨샷학습, #운전자과실예측, #사고보고서AI분석