인공지능은 설문 조사에 대한 당신의 응답을 예측할 수 있다. 하지만 그것이 곧 당신을 이해한다는 뜻은 아니다.

글의 의미: 이 글은 LLM(거대 언어 모델)이 사회과학 실험이나 설문 조사 결과를 예측하는 데 놀라운 성능을 보이지만, 이는 통계적 패턴 학습일 뿐 인간의 행동이나 심리에 대한 진정한 이해는 아님을 경고한다. AI의 예측 결과를 실제 인간의 경험을 대체하는 도구로 오용하지 말고, 연구의 보조적인 수단으로 신중하게 활용해야 한다는 점을 강조한다.

사람들은 무엇 때문에 마음을 바꾸거나 행동을 변화시키는가?

사회과학자들은 이 질문을 두고 많은 시간을 고민하며, 실험은 그에 답을 찾기 위한 가장 강력한 방법 중 하나이다. 실제 사람들을 대상으로 아이디어를 시험하는 실험은 상당한 시간과 비용을 요구한다. 여기서 거대 언어 모델(LLM, large language models)이 등장한다. 이는 방대한 양의 인간이 생성한 텍스트를 바탕으로 특정 유형의 텍스트 기반 인간 행동을 모방하도록 훈련된 인공지능 시스템이다.

하버드 대학교 심리학 연구원인 Ashwini Ashokkumar가 이끄는 새로운 연구가 오늘 『Nature』에 발표되었다. 이 연구는 GPT-4와 같은 LLM이 많은 사회과학 실험 결과를 놀라울 정도로 잘 예측할 수 있음을 시사한다. 그러나 이 결과에는 경고가 따른다. 인간의 반응을 예측하는 시스템이 반드시 인간의 행동을 이해하는 시스템인 것은 아니며, "합성 응답자(synthetic respondents)" 또는 "실리콘 샘플(silicon samples)"이 실제 사람을 직접 대체할 수는 없다.

놀라운 결과

Ashokkumar와 동료들은 미국에서 이미 수행된 70개의 실제 실험을 모았으며, 여기에는 거의 120,000명의 참가자가 포함되었다. 그들은 GPT-4에 실험 메시지와 설문 조사 질문과 함께 가상의 응답자들에 대한 설명을 제공했고, 그러한 사람들이 다양한 조건에서 어떻게 반응할지 추정하도록 요청했다. 그 후 그들은 GPT-4의 예측과 실제 결과를 비교했고, 강력한 상관관계를 발견했다.

이 모델은 종종 더 효과적이거나 덜 효과적인 개입 방식을 구분할 수 있었다. 이는 놀라운 결과이다. 이는 LLM이 적어도 본 연구에서 검토된 텍스트 기반의 미국 설문 조사 실험 종류에 있어서는 사회적 세계의 의미 있는 패턴을 포착할 수 있음을 시사한다. 하지만 이는 AI가 인간 연구를 우회하는 신뢰할 만한 지름길을 발견했다는 증거는 아니다.

유용한 예측이 곧 이해는 아니다

미국의 학자 Lisa Messeri와 Molly J. Crockett은 AI 시스템이 "이해의 환상(illusions of understanding)"을 만들어낼 수 있다고 경고했다. 이는 통찰력 있고 유용해 보이는 결과를 내놓으면서, 사용자들로 하여금 실제로 이해된 내용을 과대평가하도록 부추긴다는 것이다. LLM은 그럴듯한 설명이나 설득력 있는 예측을 생성할 수 있다. 그러나 이것은 관찰된 행동 뒤에 숨겨진 메커니즘에 대한 진정한 통찰보다는 정교한 패턴 매칭을 반영할 수 있다.

예를 들어, 새로운 연구는 GPT-4가 다양한 처리 방식의 예상 효과를 순위 매기는 데 종종 뛰어났음을 발견했다. 그러나 실제 결과보다 효과를 약 2배 정도 크게 체계적으로 추정했다. 그 차이는 매우 중요하다. 도구가 연구자들에게 '메시지 X가 메시지 Y보다 더 잘 작동할 것'이라고 말해줄 수는 있어도, 그 차이가 미미한지, 적당한지, 아니면 혁신적인지 여부에 대해서는 신뢰할 수 없을 수 있다.

파일럿 연구를 위한 강력한 새 도구

이 정보를 주의 깊게 사용한다면 여전히 매우 가치 있을 수 있다. 연구자들은 종종 비용이 많이 드는 실험을 시작하기 전에 소규모 파일럿 연구를 수행한다. 이러한 파일럿 연구는 개입 방식을 정교화하고 제안된 효과가 더 큰 규모의 연구를 진행할 만큼 충분히 큰지 추정하는 데 도움을 준다. LLM이 생성한 예측은 이러한 파일럿 연구를 보완할 수 있다. 예를 들어, 연구자들은 다양한 인구 통계 프로필이 백신 접종 메시지, 직장 내 개입 또는 정책 프레이밍의 여러 버전에 어떻게 반응하는지 시뮬레이션할 수 있다.

그러나 새로운 연구는 LLM 예측과 인간의 예측을 결합하는 것이 어느 한쪽 소스만 사용하는 것보다 더 정확하다는 것을 발견했다. 미래에 가장 유용한 방향은 AI가 인간 연구자나 연구 대상을 대체하는 것이 아니라, 부족한 인적 자원을 어디에 집중할지 연구자들이 결정하도록 AI가 돕는 것일 수 있다.

'실리콘 샘플링'의 유혹

"합성 응답자" 또는 "실리콘 샘플링(silicon sampling)"이라는 아이디어는 단순히 과학적 관심사에 그치지 않는다. 이는 여론 조사, 시장 조사 및 공공 협의에서 점점 더 많이 논의되고 있으며, 지지자들은 더 빠르고 저렴한 테스트 기회를 보고 있다. 그러나 비평가들은 시뮬레이션이 실제 여론으로 제시될 경우 신뢰를 훼손할 수 있다고 경고한다.

대중이 새로운 세금 정책에 대해 어떻게 생각할지 궁금해하는 정치인이나 새로운 광고 캠페인에 관심이 있는 기업에게 LLM은 빠르고 그럴듯한 답을 제공할 수 있다. 하지만 이는 여론을 측정하는 것과는 완전히 같지 않다. 전통적인 설문 조사는 특정 시점에 특정 사회에 사는 사람들로부터 응답을 수집한다. 반면 합성 샘플은 모델의 훈련 데이터, 프롬프트 설계 및 guardrails(안전 장치)에 인코딩된 패턴을 활용한다. 이는 인간 판단의 요소를 재현할 수는 있지만, 삶의 경험, 지역적 지식, 그리고 연구되는 문제에 대한 실질적인 이해관계가 결여되어 있다.

이러한 격차는 신흥 문제, 소외된 커뮤니티, 빠르게 변화하는 사건, 그리고 온라인 데이터에서 제대로 대표되지 않는 인구 집단에게 특히 중요할 수 있다. Ashokkumar와 동료들은 모델이 인구 집단 전반에 걸쳐 대체로 잘 수행되었음을 발견했지만, 미국적 맥락에서 백인 및 공화당원 샘플에 유리한 정확도의 차이도 확인했다. 주의 깊은 보정 없이는 합성 응답자가 사용 가능한 데이터의 지배적인 패턴을 재현하면서 불일치나 소수 의견을 무마할 수 있다.

실리콘 샘플링은 가설을 생성하고 가정을 스트레스 테스트하는 데 유용할 수 있지만, 실제 사람들의 목소리를 듣는 것을 대체할 수는 없다. 위험은 합성 에이전트를 사용하는 것에 있는 것이 아니다. 모델이 생성한 대리인을 인구 집단 그 자체로 착각하는 데 위험이 있다.

해로운 설득 최적화의 위험

동일한 예측 능력은 오용될 수도 있다. 저자들은 GPT-4가 코로나19 백신 접종 의도를 감소시킬 가능성이 있는 소셜 미디어 콘텐츠를 식별할 수 있는지 테스트했다. 비록 모델이 반대 백신 메시지를 직접 생성하는 것은 거부할지라도, 기존 옵션 세트 중에서 어떤 해로운 메시지가 가장 효과적일 가능성이 높은지 식별하는 데 도움을 줄 수 있었다. 이는 명백히 해로운 프롬프트를 차단하는 것을 넘어선 안전 장치의 필요성을 강조한다. 시스템은 또한 AI를 사용하여 해로운 설득을 순위 매기거나, 최적화하거나, 타겟팅하는 것을 방지하는 보호 장치가 필요할 수 있다.

GPT-4와 같은 독점 LLM을 사용하는 연구는 모델 제공업체의 변경 사항에 취약하기도 하다. 모델은 예고 없이 변경되거나 퇴출될 수 있으며, 이는 다른 연구자들이 AI 기반 연구 결과를 검증하거나 반복하는 것을 어렵게 하거나 불가능하게 만든다.

중심적인 교훈은 AI 예측이 쓸모없다거나 마법과 같다는 것이 아니다. LLM은 사회과학을 위한 가치 있는 도구가 되어, 연구자들이 아이디어를 시험하고, 개입의 우선순위를 정하고, 저렴한 비용으로 시나리오를 탐색하도록 도울 수 있다. 동시에, 우리가 실제보다 더 많이 이해하고 있다고 착각하게 만들 만큼 충분히 많은 것을 맞힐 위험도 존재한다.