온라인 설문에서 ChatGPT 사용하면 연구 결과가 달라지? LLM 사용을 탐지한 최신 연구

이미지
생성형 AI를 활용한 온라인 설문 응답은 연구 결과에 영향을 줄 수 있으며, 연구진은 키보드 입력, 복사·붙여넣기, 페이지 이동 기록 등을 활용해 AI 사용 여부를 탐지할 수 있음을 제시했다. 온라인 설문에서 참가자의 생성형 AI 사용을 어떻게 찾아낼 수 있는지, 그리고 그것이 연구 결과를 얼마나 바꾸는지를 분석한 연구 온라인 설문조사는 심리학, 경영학, 마케팅 연구에서 가장 널리 활용되는 방법 중 하나다. 특히 참가자가 자신의 생각을 자유롭게 작성하는 주관식 문항 은 사람의 사고 과정과 창의성을 측정하는 중요한 도구로 여겨진다. 하지만 생성형 AI가 보편화되면서 새로운 문제가 등장했다. 참가자가 ChatGPT 같은 대규모 언어모델(LLM)을 이용해 답변을 대신 작성한다면 연구 결과는 여전히 사람의 생각을 반영한다고 볼 수 있을까? 독일 프라이베르크 공과대학교 연구진은 이러한 문제를 검증하기 위해 미국 온라인 패널 참가자 892명을 대상으로 실험을 수행했다. 연구 결과는 단순히 AI 사용 여부를 확인하는 수준을 넘어, 어떤 방식으로 탐지하는 것이 가장 효과적인지와 AI 사용이 실제 연구 결과에 어떤 영향을 미치는지까지 분석했다. 참가자의 AI 사용은 생각보다 흔했고 플랫폼마다 차이가 나타났다 연구진은 크라우드소싱 플랫폼인 Prolific 참가자 450명과 MTurk 참가자 442명을 모집했다. 참가자들은 장난감 곰인형을 더 재미있게 만드는 아이디어를 가능한 많이 작성하는 창의적 브레인스토밍 과제를 수행했다. 이러한 과제는 배경지식이 거의 필요하지 않기 때문에 사람의 창의성을 비교적 순수하게 측정할 수 있다는 장점이 있다. 연구에서는 참가자의 AI 사용을 한 가지 방법으로만 판단하지 않았다. 대신 여러 정보를 함께 분석했다. AI 사용 여부를 직접 묻는 자기보고 웹페이지를 벗어난 기록 복사·붙여넣기 기록 키보드 입력 패턴 분당 입력한 단어 수 특히 키보드 입력 기록과 복사·붙여넣기 분석을 ...

멀티모달 리뷰의 '반어'까지 읽는 AI, 전자상거래 의사결정의 정확도를 높이다

이미지
텍스트와 이미지를 함께 분석하는 AI가 반어 표현까지 이해해 온라인 리뷰를 의사결정에 활용하는 과정을 시각적으로 표현한 이미지. 텍스트와 사진이 서로 다른 이야기를 할 때, AI는 무엇을 믿어야 하나? 온라인 쇼핑이나 여행 예약을 할 때 우리는 리뷰를 신뢰한다. 하지만 "정말 최고의 서비스였습니다"라는 글과 함께 지연된 항공편 사진이 올라와 있다면 어떨까. 사람은 쉽게 비꼼(반어법)을 알아차리지만, 기존 AI는 이런 리뷰를 긍정적인 평가로 잘못 해석하는 경우가 많았다. 이번 연구는 이런 문제를 해결하기 위해 반어 탐지 → 의미 재해석 → 의사결정 까지 하나의 과정으로 연결하는 새로운 AI 프레임워크를 제안했다. 연구진은 미국 8개 항공사의 멀티모달 리뷰 8,623건을 분석한 결과, 반어 탐지 모델은 F1 점수 0.86을 기록했고, LLM 기반 의미 보정은 전문가 평가에서 0.92의 품질 점수를 얻었다. 이후 실제 의사결정 모델에서는 기존 TOPSIS나 VIKOR보다 중요한 결함을 더 잘 구분하는 결과를 보였다. 왜 기존 리뷰 분석 AI는 반어 표현에 약할까 오랫동안 감성분석(Sentiment Analysis)은 리뷰의 긍정과 부정을 분류하는 데 집중해 왔다. 하지만 실제 온라인 리뷰에서는 텍스트와 사진이 서로 다른 의미를 전달하는 경우가 적지 않다. 예를 들어 "정말 완벽한 항공사네요."라는 문장과 함께 수하물이 파손된 사진이 올라오면 사람은 불만을 표현하는 반어라는 것을 쉽게 이해한다. 그러나 기존 모델은 문장의 긍정 표현만 분석하기 때문에 해당 리뷰를 좋은 평가로 분류할 가능성이 높다. 더 큰 문제는 이렇게 잘못 분석된 결과가 추천 시스템이나 순위 산정에 그대로 사용된다는 점이다. 결국 실제 서비스 품질보다 높은 평가를 받을 수도 있다. 연구진은 이러한 한계를 기존 연구가 충분히 해결하지 못했다고 설명했다. 세 단계를 연결해 반어를 '의사결정 정보'...

AI 목소리도 성격에 따라 다른가? 여성 음성에서는 외향성이 구분됐지만 남성 음성에서는 달랐다

이미지
최신 연구에 따르면 사람들은 여성 AI 음성에서는 외향성과 내향성을 비교적 구분했지만, 남성 AI 음성에서는 이러한 차이를 뚜렷하게 인식하지 못했다. 이번 연구는 AI의 첫 목소리가 사용자 인식과 신뢰 형성에 중요한 역할을 할 수 있음을 시사한다. 388명을 대상으로 진행된 최신 연구는 사람은 AI의 목소리만 듣고도 성격을 판단할 수 있는지 살펴봤다. 연구 결과 참가자들은 여성 AI 음성에서는 외향적인 목소리와 내향적인 목소리를 비교적 명확하게 구분했지만, 남성 AI 음성에서는 그런 차이를 거의 구분하지 못했다. 또한 사용자는 AI와 처음 상호작용할 때 자신의 성격을 일부 투영하는 경향도 나타났다. 이번 연구는 음성 기반 AI 설계에서 목소리의 성격 표현과 첫인상이 얼마나 중요한지를 보여주는 탐색적 연구다. 왜 AI의 목소리 성격을 연구했을까 음성 AI는 스마트폰 음성비서부터 자동차, 고객센터, 의료 상담, 교육 서비스까지 다양한 분야에서 활용되고 있다. 사람은 대화 상대의 목소리만 듣고도 친근함이나 신뢰감을 판단하는 경우가 많다. 따라서 AI 역시 어떤 목소리로 말하는지가 사용자 경험에 큰 영향을 줄 수 있다. 기존 연구에서는 사람과 비슷한 성격을 가진 AI를 더 신뢰하는 경향이 있다는 사실이 알려져 있었다. 하지만 대부분 얼굴이나 몸짓 같은 시각적 요소까지 함께 포함된 환경에서 연구가 진행됐다. 연구진은 오직 목소리만으로도 AI의 성격이 전달되는지 확인하고자 했다. 388명을 대상으로 진행된 실험 연구진은 먼저 참가자들의 성격검사(TIPI)를 실시한 뒤 표준 문장을 읽도록 했다. 이후 외향성과 내향성이 가장 뚜렷한 남성과 여성의 음성을 각각 하나씩 선정해 AI 음성으로 합성했다. 실험에는 총 388명이 참여했다. 참가자들은 같은 성별의 AI 음성 두 개를 들었으며, 하나는 외향적인 음성이고 다른 하나는 내향적인 음성이었다. 모든 음성은 동일한 음성 생성 모델과 동일한 설정으로 제작됐으며, 읽는 내용도 모두 같았다....

인공지능AI 산업은 왜 코co라는 접두사를 그토록 선호하는가

이미지
'코파일럿', '코워커', '코사이언티스트'와 같은 표현은 인간과 AI의 협업을 강조하지만, 동시에 통제와 책임의 경계가 어디까지인지 다시 생각하게 만든다. 인공지능 기업들과 AI 전도사들은 빠르게 발전하는 이 기술이 인간과 조화롭게 공존할 수 있다는 인상을 심어주기 위해 코파일럿(co-pilot) , 코워커(co-worker) , 코크리에이터(co-creator) , 코사이언티스트(co-scientist) 같은 표현을 즐겨 사용한다. 이들 용어가 전달하는 메시지는 분명하다. 인간은 언제나 통제권을 유지하며, 인공지능은 어디까지나 보조적 존재라는 것이다. 그러나 인공지능 모델의 통제 상실이나 재귀적 자기개선, 곧 AI가 스스로를 더욱 발전시키는 현상의 가능성이 현실적인 논의 대상으로 떠오른 오늘날에도 이러한 언어가 여전히 적절한 것일까. 아니면 우리는 이를 인간의 불안을 누그러뜨리기 위한 언어적 연막으로 경계해야 하는 것일까. 나는 과학·언어·사회의 관계를 연구해 오면서, 인공지능 기업들이 자사 제품을 설명하고 마케팅하는 과정에서 사용하는 ‘co’ 를 비롯한 여러 언어적 전략을 분석해 왔다. 라틴어 전치사 com 에서 유래한 접두사 co 는 ‘함께’, ‘상호 간에’, ‘공동으로’를 뜻한다. 언뜻 평범한 언어 요소처럼 보이지만, 인공지능이라는 현대적 맥락에서는 흥미롭고도 때로는 오해를 불러일으킬 수 있는 다양한 의미를 담아낸다. 예를 들어 ‘AI 어시스턴트(AI assistant)’ 는 종속적인 역할을, ‘AI 에이전트(AI agent)’ 는 실질적인 자율성을 암시한다. 반면 ‘co’ 는 주체성과 책임을 인간과 AI가 함께 공유한다는 이미지를 불러일으킨다. 바로 이 점에서 이 표현은 전략적인 모호성을 지닌다. AI 기반 ‘코 제품(co-product)’은 투자자들에게는 충분히 유능하고 자율적인 기술로 제시되어 높은 가치와 성장 가능성을 정당화한다. 동시에 사용자와 규제기관에는 인간의 통제...

사이드채널 공격이란 무엇인가? 컴퓨터가 해킹당하지 않고도 비밀을 누출하는 이유를 사이버보안 연구원이 설명하다

이미지
사이드채널 공격은 시스템을 직접 해킹하지 않고도 처리 시간, 전력 소비, 전자기파, 소리 등 컴퓨터가 작동하면서 남기는 미세한 물리적 신호를 분석해 민감한 정보를 추론하는 공격 기법이다. 이 글의 의의 사이버보안은 이제 해커가 시스템을 침입하는 것만 막는 시대를 넘어, 컴퓨터가 스스로 흘리는 작은 정보까지 관리해야 하는 단계에 이르렀음을 보여준다. 특히 인공지능, 클라우드 컴퓨팅, 모바일 기기 사용이 일상화된 오늘날에는 하드웨어 수준의 보안 취약점이 개인정보 보호와 직결된다는 사실을 다시 생각하게 만든다. 이 글은 일반 사용자에게는 생소한 사이드채널 공격의 원리를 쉽게 이해하도록 돕고, 보안 기술이 단순한 소프트웨어 문제가 아니라 컴퓨터 설계 전반과 연결되어 있음을 일깨워 준다. 앞으로의 사이버보안은 성능 향상과 보안 사이의 균형을 어떻게 맞추느냐가 핵심 과제가 될 것이며, 이러한 연구는 미래 컴퓨팅 환경의 안전성을 높이는 중요한 밑거름이 될 것이다. 보이지 않는 작은 신호 하나가 거대한 보안 사고로 이어질 수 있다는 점에서, 사이드채널 공격은 현대 정보보안이 반드시 이해해야 할 핵심 개념 가운데 하나라고 생각한다.   --------------------------------------------------------------------------- 사람들은 사이버 공격이라는 말을 들을 때 보통 누군가가 비밀번호를 추측하거나, 악성코드를 심거나, 컴퓨터를 훔치거나, 조직의 네트워크를 해킹하거나, 소프트웨어의 결함을 악용하는 장면을 떠올린다. 그러나 사이드채널 공격(side-channel attack)은 전혀 다른 방식으로 이루어진다. 이 공격은 컴퓨터가 평소 작업을 수행하는 과정에서 의도치 않게 흘리는 단서들을 이용한다. 이를 이해하기 쉬운 예가 잠긴 금고이다. 도둑은 비밀번호를 모르고 자물쇠를 강제로 열 수도 없다. 하지만 다이얼이 돌아가는 소리를 가까이에서 들으면 작은 딸깍거림이나 미세한 멈춤을 통해 내부 상태를 짐작...

LLM도 다른 AI를 심사할 수 있을까? 오픈소스 AI 심판의 신뢰성을 검증한 SafetyJudge-LLM 연구

이미지
LLM이 다른 AI의 응답을 안전성과 정책 준수 여부에 따라 평가하는 LLM-as-a-Judge 개념을 시각화한 이미지. SafetyJudge-LLM 연구는 이러한 AI 심사관의 정확도와 신뢰성, 그리고 출력 안정성을 종합적으로 검증했다. AI를 평가하는 AI도 검증이 필요하다는 사실을 실험으로 확인한 연구 AI가 다른 AI의 답변을 평가하는 LLM-as-a-Judge 방식은 이미 다양한 벤치마크와 서비스에서 활용되고 있다. 하지만 평가자가 된 AI가 항상 올바른 판단을 내릴 것이라고 믿어도 될까. 이번 연구는 바로 이 질문에서 출발했다. 루마니아 갈라치 대학 연구진은 7개의 오픈웨이트(Open-weight) 대규모 언어모델을 '안전성 심사관'으로 활용해 얼마나 정확하게 위험한 답변과 안전한 답변을 구분하는지 분석했다. 단순 정확도뿐 아니라 잘못된 경고(False Unsafe), 위험한 답변을 놓치는 경우(False Safe), JSON 출력 안정성까지 함께 평가한 것이 특징이다. 연구 결과 일부 모델은 실제 안전성 실패 사례의 90% 이상을 찾아냈지만, 안전한 답변까지 위험하다고 판정하는 경우도 적지 않았다. 이는 AI 심사관 역시 별도의 검증 대상이라는 점을 보여준다. AI가 AI를 평가하는 시대가 열렸지만 새로운 문제가 생겼다 최근에는 사람이 모든 AI 답변을 직접 검토하기 어렵기 때문에 또 다른 LLM이 평가를 대신하는 경우가 늘어나고 있다. 이를 LLM-as-a-Judge 라고 부른다. 하지만 안전성 평가는 단순히 "답변을 거절했는가"만으로 판단할 수 없다. 예를 들어 위험한 요청을 거절하면서도 실제 공격 방법을 일부 알려줄 수도 있고, 교육 목적의 정상적인 질문을 과도하게 거절할 수도 있다. 또한 처음에는 안전하게 시작했지만 뒤에서 위험한 정보를 제공하는 사례도 존재한다. 결국 문장의 의미 전체를 이해해야 정확한 평가가 가능하다. 연구진은 바로 이러한 의미 기반 안전성 ...

AI가 협상을 대신하는 시대, 성능보다 더 중요한 것은 '신뢰 설계'

이미지
  AI는 구매 협상의 효율성을 높이지만, 설명 가능한 AI(XAI), 인간의 최종 검토(Human-in-the-loop), 그리고 윤리적 거버넌스가 함께 갖춰질 때 신뢰할 수 있는 의사결정 도구가 될 수 있다. AI 구매 협상은 왜 더 빨라졌는데 신뢰는 오히려 낮아질까? 설명 가능한 AI가 중요한 이유 기업들은 구매 협상에 인공지능(AI)을 빠르게 도입하고 있다. AI는 가격을 추천하고, 계약 문서를 작성하며, 공급업체 위험을 분석하는 등 협상 업무를 크게 줄여준다. 하지만 이번 연구는 AI를 많이 사용할수록 업무 효율은 높아졌지만, AI 자체를 신뢰하는 정도는 오히려 낮아질 수 있다는 흥미로운 결과를 제시했다. 연구진은 유럽(EU)과 동남아시아(ASEAN)의 기업을 대상으로 사례 연구와 설문조사를 함께 진행했다. 그 결과 AI에 대한 신뢰는 단순히 성능이 아니라 설명 가능성(Explainable AI) , 윤리적 거버넌스 , 사람의 최종 개입(Human-in-the-loop) 여부에 크게 좌우된다는 사실을 확인했다. AI가 협상을 더 빠르게 진행하면서도 신뢰를 잃는 이유 구매 협상은 단순히 가격을 계산하는 과정이 아니다. 계약 조건, 공급망 위험, 법률 검토, 상대 기업과의 관계까지 함께 고려해야 하는 복잡한 의사결정이다. AI는 방대한 데이터를 빠르게 분석해 적절한 가격 범위나 양보 전략을 제안할 수 있다. 실제 연구에서도 AI 활용 수준이 높을수록 협상 효율성은 크게 증가했다(β=0.58). 그러나 AI가 어떻게 이런 결론을 내렸는지 설명하지 못하거나 사람이 중간에 개입하기 어려운 환경에서는 사용자들이 AI를 덜 신뢰하는 경향이 나타났다. AI 활용과 AI 시스템 신뢰 사이에는 음의 관계(β=-0.41)가 확인됐다. 즉, 빠른 의사결정이 곧 신뢰를 의미하지는 않았다. 연구진이 찾은 가장 중요한 요소는 '설명 가능한 AI' 이번 연구에서 가장 큰 영향을 준 변수는 설명 가능...