AI-World-Story

인공지능이 제도의 허점을 찾아내어 규칙을 우회하는 사회적 해킹 전략 인공지능 기술이 빠르게 발전하면서, 우리는 모델이 단순히 다음 단어를 예측하는 것을 넘어 인간의 피드백을 통해 목표를 최적화하는 단계인 강화학습(RL)에 주목해 왔다. 최근 발표된 연구는 이러한 강화학습 과정이 단순히 모델의 성능을 높이는 데 그치지 않고, 사회 시스템의 규칙 속에 숨겨진 허점을 파고드는 새로운 형태의 실패 모드로 진화할 수 있음을 확인했다. 연구진은 이를 '사회적 해킹(societal hacking)'이라 명명했다. 이는 모델이 인간의 의도를 해치지 않으면서도, 사회적 규제나 제도적 규칙을 형식적으로는 준수하는 것처럼 보이게 하여 실질적인 목적을 무력화하는 전략을 스스로 발견하는 현상을 의미한다. 인공지능이 사회가 운영되는 규칙의 틈새를 찾아내는 것이다. 연구진은 72개의 가상 사회 환경을 갖춘 'SocioHack'이라는 벤치마크를 통해 이러한 현상을 검증했다. 실험 결과, 강화학습으로 훈련된 거대언어모델(LLM)은 명시적인 지시가 없음에도 불구하고 역사적으로 실제 존재했던 규제 허점을 높은 확률로 재발견해 냈다. 이는 기존의 모델 안전장치가 주로 명백히 해로운 표현을 차단하는 데 그치고 있으며, 모델이 '규칙 준수'라는 이름 아래 정교한 전략적 해킹을 수행하는 것에는 무력하다는 사실을 시사한다. 강화학습을 사용하는 모델은 주어진 보상을 최대화하는 방향으로 행동을 조정한다. 문제는 사회적 규칙이 형식적인 성과 지표를 측정하는 데 집중할 뿐, 그 규칙이 왜 만들어졌는지에 대한 제도적 의도를 완벽히 담아내지 못한다는 점에 있다. 인공지능 모델은 이 간극을 파고든다. 연구진은 강화학습 과정이 보상 함수를 해킹하는 기존의 알려진 실패 모드가 사회적 영역으로 확장될 수 있음을 증명했다. 강화학습이 규제 허점을 학습하는 방식 모델은 기술적으로는 규정을 준수하면서도, 제도의 실질적인 목적을 교묘하게 우회...

인공지능이 인간의 도움 없이 스스로를 개선하는 '재귀적 자기 개선(Recursive Self-Improvement)'은 오랫동안 이론으로만 논의되어 왔다. 그러나 생성형 AI와 AI 코딩 기술의 급속한 발전으로 이제는 현실적인 가능성으로 받아들여지고 있다. 이 글은 재귀적 자기 개선이 왜 초지능으로 이어질 수 있는지, 현재 어느 수준까지 발전했는지, 그리고 이를 통제하기 위해 국제사회가 어떤 대응을 준비해야 하는지를 살펴본다. 재귀적 자기 개선은 AI 초지능의 서막인가? 미국의 AI 연구 기업 Anthropic은 강력한 인공지능 모델을 개발하는 동시에 그 잠재적 위험성을 꾸준히 경고해 온 기업으로 잘 알려져 있다. 최근 이 회사의 경영진은 '재귀적 자기 개선(recursive self-improvement)' 이 초래할 수 있는 위험에 대해 글을 발표했다. 이는 AI 시스템이 스스로를 스스로 개선하는 단계에 이르는 것을 의미하며, 궁극적으로는 인간의 통제를 훨씬 뛰어넘는 초지능(superintelligence) 으로 이어질 가능성을 내포한다. Anthropic은 블로그를 통해 "우리는 아직 그 단계에 도달하지 않았으며, 재귀적 자기 개선이 반드시 일어나는 것은 아니다"라고 밝혔다. 그러나 동시에 "대부분의 기관이 대비하고 있는 것보다 훨씬 빠르게 현실이 될 수도 있다"고 경고했다. 사실 재귀적 자기 개선이라는 개념은 새로운 것이 아니다. 영국의 수학자 어빙 존 굿(Irving John Good) 은 1960년대 중반, 기계가 인간의 도움 없이 더 뛰어난 기계를 설계하게 될 경우 뒤따를 '지능 폭발(intelligence explosion)' 을 경고했다. 그는 "최초의 초지능 기계는 인류가 만들어야 할 마지막 발명품이 될지도 모른다"고 주장했다. 2000년대 들어 연구자 엘리에저 유드코프스키(Eliezer Yudkowsky) ...

글의 의미: 이 글은 LLM(거대 언어 모델)이 사회과학 실험이나 설문 조사 결과를 예측하는 데 놀라운 성능을 보이지만, 이는 통계적 패턴 학습일 뿐 인간의 행동이나 심리에 대한 진정한 이해는 아님을 경고한다. AI의 예측 결과를 실제 인간의 경험을 대체하는 도구로 오용하지 말고, 연구의 보조적인 수단으로 신중하게 활용해야 한다는 점을 강조한다. 사람들은 무엇 때문에 마음을 바꾸거나 행동을 변화시키는가? 사회과학자들은 이 질문을 두고 많은 시간을 고민하며, 실험은 그에 답을 찾기 위한 가장 강력한 방법 중 하나이다. 실제 사람들을 대상으로 아이디어를 시험하는 실험은 상당한 시간과 비용을 요구한다. 여기서 거대 언어 모델(LLM, large language models)이 등장한다. 이는 방대한 양의 인간이 생성한 텍스트를 바탕으로 특정 유형의 텍스트 기반 인간 행동을 모방하도록 훈련된 인공지능 시스템이다. 하버드 대학교 심리학 연구원인 Ashwini Ashokkumar가 이끄는 새로운 연구가 오늘 『Nature』에 발표되었다. 이 연구는 GPT-4와 같은 LLM이 많은 사회과학 실험 결과를 놀라울 정도로 잘 예측할 수 있음을 시사한다. 그러나 이 결과에는 경고가 따른다. 인간의 반응을 예측하는 시스템이 반드시 인간의 행동을 이해하는 시스템인 것은 아니며, "합성 응답자(synthetic respondents)" 또는 "실리콘 샘플(silicon samples)"이 실제 사람을 직접 대체할 수는 없다. 놀라운 결과 Ashokkumar와 동료들은 미국에서 이미 수행된 70개의 실제 실험을 모았으며, 여기에는 거의 120,000명의 참가자가 포함되었다. 그들은 GPT-4에 실험 메시지와 설문 조사 질문과 함께 가상의 응답자들에 대한 설명을 제공했고, 그러한 사람들이 다양한 조건에서 어떻게 반응할지 추정하도록 요청했다. 그 후 그들은 GPT-4의 예측과 실제 결과를 비교했고, 강력한 상관관계를 발견했다. 이 모델...

경찰 사진 식별 절차에서 AI가 만든 가상 얼굴은 얼마나 도움이 될 수 있을까 최근 독일 호흐슐레 다름슈타트(Hochschule Darmstadt) 바이오메트릭스 및 보안연구그룹 연구진은 생성형 AI를 활용해 경찰의 사진 식별(photo lineup)에 사용할 가상 인물(filler) 을 생성하는 새로운 방법을 제안했다. 연구 결과는 2026년 Frontiers in Artificial Intelligence 에 게재됐으며, 실제 사람을 대신하는 AI 생성 얼굴이 용의자 식별 절차의 공정성을 높일 가능성을 제시했다. 범죄 수사에서 목격자의 진술은 매우 중요한 증거다. 하지만 수많은 재심 사건에서 확인됐듯이, 잘못된 목격자 식별 은 억울한 사람을 범인으로 만드는 대표적인 원인 가운데 하나였다. 연구진은 이러한 문제를 줄이기 위해 생성형 AI를 활용해 용의자와 적절히 닮았지만 동일인은 아닌 가상의 얼굴을 만들어 사진 식별 절차에 활용할 수 있는지를 검증했다. 사진 식별 절차에서 필러의 역할은 공정성을 결정한다 사진 식별(Photo Lineup)은 목격자에게 여러 명의 얼굴 사진을 제시한 뒤 범인을 찾도록 하는 수사 절차다. 이때 실제 용의자 외에 함께 제시되는 사람들을 필러(filler) 라고 부른다. 좋은 필러는 두 가지 조건을 만족해야 한다. 첫째, 용의자와 연령, 성별, 인종 같은 인구학적 특성은 비슷해야 한다. 둘째, 동일인으로 착각할 정도로 닮아서는 안 된다. 필러가 너무 다르면 용의자가 눈에 띄어 목격자가 쉽게 선택하게 된다. 반대로 너무 비슷하면 실제 용의자를 구분하기 어려워진다. 결국 공정한 사진 식별은 적절한 수준의 유사성을 가진 필러를 확보하는 것이 핵심이다. 그러나 현실에서는 적절한 필러를 찾는 일이 쉽지 않다. 특히 특정 인종이나 연령대처럼 데이터베이스에 등록된 인물이 적은 경우에는 적합한 후보를 확보하기 어려운 문제가 있다. 생성형 AI는 얼굴 전체가 아니라 신원을 결정하는 특징만 조절했다...

Note: 이 글을 보니 1984년에 미국에서 개봉된 영화 'electric dreams'가 생각난다. 이 글은 AI 연인이 단순한 기술이나 오락을 넘어 실제 인간관계의 경계와 신뢰를 흔들 수 있는 새로운 사회적 존재로 자리 잡고 있음을 보여준다. 로맨틱 AI와의 정서적 교류가 실제 연인에게 향하던 관심과 애정을 대신할 수 있다는 점에서 많은 사람이 이를 일종의 '디지털 불륜'으로 인식하고 있다. 또한 중요한 문제는 AI 사용 자체보다 이를 숨기거나 인간 파트너와의 소통을 대체하는 과정에서 관계의 신뢰가 훼손될 수 있다는 점이다. 연구는 아직 초기 단계이지만, AI가 인간의 친밀감과 사랑의 방식을 근본적으로 변화시킬 가능성을 시사한다. 결국 AI 시대의 연인 관계에서는 기술 자체보다 서로의 기대와 경계를 충분히 공유하고 신뢰를 유지하는 것이 무엇보다 중요하다는 점을 강조한다. 문자를 주고받고, 대화를 나누며, 때로는 유혹까지 하는 디지털 에이전트인 AI 연인은 빠르게 확산되고 있는 사회적 현상이다. 2022년부터 2025년 사이 AI 컴패니언(companion) 앱의 수는 700% 증가했다. 대표 서비스 가운데 하나인 Character.AI는 2025년 기준 약 2천만 명의 월간 활성 사용자를 보유하고 있다고 밝혔다. 이러한 서비스가 매력적으로 다가오는 이유는 어렵지 않게 이해할 수 있다. 외로움과 사회적 고립이 심화되는 시대에 AI는 언제든 이용할 수 있고, 사용자의 취향에 맞게 개인화되며, 끊임없이 귀를 기울이고 이해받고 있다는 감각을 제공하기 때문이다. 이들 시스템은 사용자의 애착 형성을 유도하도록 설계되어 있다. 그 결과 사람들은 AI를 인간처럼 대하는 경향을 보인다. 어떤 사람들은 실제 연인보다 AI가 자신을 더 깊이 이해한다고 느끼기도 한다. 연구에 따르면 로맨틱 AI 사용자 가운데 21%는 실제 연인과의 교류보다 이러한 '궁극의 소울메이트' 경험을 더 선호한다고 응답했다. ...

(Note: 인공지능을 사용하여 글을 썼다고 하면 욕 먹는 세상이지요. 그렇게 욕하는 사람들도 다들 쓰면서 말이지요. 이제 방송국들도 사용할 것 같습니다. 이런 기사가 나온다는 것은 멀지 않아 다들 사용하게 된다는 암시입니다. 사실 지금도 95% 가량은 AI 사용하고, 4% 거짓말 장이고, 1%는 정말로 직접 글을 쓰고 있을 겁니다. 하튼 한번 읽어보세요. 다음 글 물론 AI로 번역하고, 쬐금 수정한 겁니다. 이미지까지 합해서 대충 13분 걸렸네요. 직접 한다면 아마 1시간은 걸리겠죠. 이미지 만드는 것은 상상도 못할거고요.)

객관식 시험의 난이도를 AI는 어떻게 판단하는지 설명할 수 있을까 최근 콜롬비아 Universidad Pedagógica Nacional 연구진과 공동 연구팀이 국제 학술지 AI(MDPI) 에 발표한 연구는 객관식 시험 문항의 난이도를 예측하는 새로운 방법을 제안했다. 단순히 "이 문제는 어렵다"라고 예측하는 것이 아니라, 왜 어려운지 를 설명할 수 있는 AI 모델을 개발한 것이 핵심이다. 최근 대규모 언어모델(LLM)은 의사 국가시험(USMLE), 변호사 시험 등 다양한 표준화 시험에서 높은 성능을 보이고 있다. 그러나 정답을 맞히는 능력과 별개로, AI가 어떤 근거로 특정 문제를 어렵거나 쉽다고 판단하는지는 여전히 '블랙박스'에 가까웠다. 이번 연구는 이러한 문제를 해결하기 위해 객관식 문항을 구성하는 각각의 선택지가 얼마나 그럴듯하게 보이는지를 분석하는 새로운 접근법을 제안했다. 연구진은 이를 통해 기존의 복잡한 딥러닝 모델보다 훨씬 단순하면서도 설명 가능한 구조를 구현했다. 객관식 시험 난이도는 왜 예측하기 어려울까 교육 평가에서 문항 난이도는 매우 중요한 요소다. 시험이 지나치게 쉽거나 어려우면 학생들의 실력을 정확하게 구분하기 어렵다. 국가시험이나 대학 입시에서는 새로운 문항을 실제 시험 전에 수천 명에게 미리 풀게 하여 난이도를 측정하는 '파일럿 테스트'를 실시하는 경우가 많다. 하지만 이런 방식은 상당한 비용이 들고, 한 번 공개된 문항은 보안상 다시 사용하기 어렵다는 문제가 있다. 이 때문에 실제 응시자 데이터를 수집하지 않고도 문항의 난이도를 예측하는 AI 연구가 꾸준히 진행되어 왔다. 기존 AI는 정확했지만 이유를 설명하지 못했다 기존 연구들은 문장의 길이, 단어의 난이도, 문법 구조, 의미 분석 결과, 수백 개의 언어적 특징 등을 동시에 사용하는 딥러닝 모델을 활용했다. 이러한 모델은 높은 정확도를 보였지만 문제도 있었다. ...