객관식 문항 난이도는 어떻게 결정되나? LLM이 밝혀낸 새로운 해석 가능 AI 모델

이미지
객관식 시험의 난이도를 AI는 어떻게 판단하는지 설명할 수 있을까 최근 콜롬비아 Universidad Pedagógica Nacional 연구진과 공동 연구팀이 국제 학술지 AI(MDPI) 에 발표한 연구는 객관식 시험 문항의 난이도를 예측하는 새로운 방법을 제안했다. 단순히 "이 문제는 어렵다"라고 예측하는 것이 아니라, 왜 어려운지 를 설명할 수 있는 AI 모델을 개발한 것이 핵심이다. 최근 대규모 언어모델(LLM)은 의사 국가시험(USMLE), 변호사 시험 등 다양한 표준화 시험에서 높은 성능을 보이고 있다. 그러나 정답을 맞히는 능력과 별개로, AI가 어떤 근거로 특정 문제를 어렵거나 쉽다고 판단하는지는 여전히 '블랙박스'에 가까웠다. 이번 연구는 이러한 문제를 해결하기 위해 객관식 문항을 구성하는 각각의 선택지가 얼마나 그럴듯하게 보이는지를 분석하는 새로운 접근법을 제안했다. 연구진은 이를 통해 기존의 복잡한 딥러닝 모델보다 훨씬 단순하면서도 설명 가능한 구조를 구현했다. 객관식 시험 난이도는 왜 예측하기 어려울까 교육 평가에서 문항 난이도는 매우 중요한 요소다. 시험이 지나치게 쉽거나 어려우면 학생들의 실력을 정확하게 구분하기 어렵다. 국가시험이나 대학 입시에서는 새로운 문항을 실제 시험 전에 수천 명에게 미리 풀게 하여 난이도를 측정하는 '파일럿 테스트'를 실시하는 경우가 많다. 하지만 이런 방식은 상당한 비용이 들고, 한 번 공개된 문항은 보안상 다시 사용하기 어렵다는 문제가 있다. 이 때문에 실제 응시자 데이터를 수집하지 않고도 문항의 난이도를 예측하는 AI 연구가 꾸준히 진행되어 왔다. 기존 AI는 정확했지만 이유를 설명하지 못했다 기존 연구들은 문장의 길이, 단어의 난이도, 문법 구조, 의미 분석 결과, 수백 개의 언어적 특징 등을 동시에 사용하는 딥러닝 모델을 활용했다. 이러한 모델은 높은 정확도를 보였지만 문제도 있었다. ...

AMM 슬리피지란 무엇인가? 최신 연구가 정리한 자동화 마켓 메이커의 슬리피지 구조와 해결 전략

이미지
새로운 통합 프레임워크가 밝힌 슬리피지의 원인과 MEV, AMM 설계의 관계 최근 중국 중산대학교(Sun Yat-sen University) 와 푸단대학교(Fudan University) 연구진은 자동화 마켓 메이커(AMM, Automated Market Maker)에서 발생하는 슬리피지(slippage) 를 하나의 통합된 틀에서 설명하는 리뷰 논문을 발표했다. 이 연구는 기존 연구마다 서로 다르게 사용되던 슬리피지의 정의를 하나로 정리하고, 슬리피지가 발생하는 원인을 체계적으로 분류해 앞으로의 연구 방향까지 제시했다. 논문은 2026년 Blockchains 저널에 게재됐다. 탈중앙화 거래소(DEX)를 이용해 암호화폐를 거래하다 보면 예상했던 가격보다 불리한 가격으로 거래가 체결되는 경우가 있다. 이를 일반적으로 슬리피지라고 부른다. 많은 이용자는 단순히 "가격이 움직였기 때문"이라고 생각하지만 실제로는 거래 자체의 구조, 유동성, 블록체인의 처리 과정, 그리고 다른 이용자의 거래까지 복합적으로 영향을 미친다. 이번 연구는 이러한 여러 원인을 하나의 분석 틀 안에서 설명했다는 점에서 의미가 크다. 특히 거래 자체 때문에 발생하는 비용 과 다른 거래 때문에 발생하는 비용 을 명확히 구분함으로써 기존 연구들이 각각 어떤 부분을 다루고 있었는지 이해하기 쉽게 정리했다. 슬리피지는 왜 발생하는가 슬리피지는 거래를 요청한 시점과 실제 블록체인에서 거래가 실행되는 시점 사이에 가격이 달라지면서 발생한다. 예를 들어 사용자가 1ETH를 USDC로 교환한다고 가정해 보자. 먼저 거래소는 현재 유동성을 기준으로 예상 교환 금액을 계산해 사용자에게 제시한다. 사용자가 거래를 승인하면 해당 거래는 블록체인 네트워크에 전송된다. 그러나 블록에 포함되어 실제 실행되기까지는 일정 시간이 필요하다. 이 짧은 시간 동안 다른 이용자들의 거래가 먼저 실행될 수 있으며, 그 결과 유동성 풀의 가격이 변한다. 결국 사용...

AI 코딩 도우미, 성적을 올린 것은 'AI'가 아니라 '수업 방식'이다

이미지
생성형 AI는 프로그래밍 교육의 판도를 바꿀 것이라는 기대를 받아왔다. 하지만 실제 수업에서 AI를 사용하는 것만으로 학습 효과가 높아지는 것은 아니었다. 멕시코 공과대학 연구진은 대규모 실험을 통해 AI의 효과는 기술 자체보다 이를 어떻게 교육에 녹여내느냐에 달려 있다는 사실을 확인했다. AI가 대신 코딩해주는 시대, 학생은 무엇을 배워야 할까 이제 프로그래밍 입문 수업에서 학생들은 모르는 문법을 검색하기보다 ChatGPT나 GitHub Copilot에 질문을 던진다. 몇 초 만에 동작하는 코드가 만들어지고, 오류도 수정된다. 언뜻 보면 프로그래밍 교육은 훨씬 쉬워진 것처럼 보인다. 하지만 교육자들의 고민은 오히려 커졌다. 학생이 코드를 직접 고민하지 않아도 과제를 해결할 수 있다면 논리적 사고와 문제 해결 능력은 제대로 길러질까. AI가 학습을 돕는 도구인지, 아니면 사고를 대신하는 도구가 되는지는 아직 명확하지 않았다. 이런 질문에 답하기 위해 연구진은 실제 대학 수업에서 여러 가지 AI 활용 방식을 비교하는 대규모 교육 실험을 진행했다. 프로그래밍 교육에서 AI를 둘러싼 논쟁 프로그래밍 교육은 단순히 문법을 배우는 과정이 아니다. 추상화, 논리적 사고, 문제 분해, 계산적 사고를 익히는 것이 핵심이다. 최근 등장한 대규모 언어모델은 코드 생성, 디버깅, 코드 설명까지 수행하면서 초보 학습자의 부담을 크게 줄여주고 있다. 기존 연구에서는 AI가 개인 맞춤형 피드백과 즉각적인 도움을 제공해 학습 동기를 높일 수 있다는 결과가 보고됐다. 반면 AI 의존성이 높아질 경우 학생들이 스스로 문제를 해결하는 능력이 약화될 수 있다는 우려도 꾸준히 제기됐다. 또한 AI를 활용한 과제에서 학업 성취도를 어떻게 공정하게 평가할 것인지도 중요한 과제로 남아 있었다. 핵심은 AI가 아니라 교육 설계다 연구진은 생성형 AI를 활용하는 네 가지 서로 다른 교수 전략을 설계했다. 첫 번째는 자기조절 학습 퀴즈...

적응형 특징 선택으로 네트워크 침입 탐지 정확도를 높이다: 불균형 데이터 문제를 해결한 새로운 ACAFS 프레임워크

이미지
희귀한 사이버 공격까지 놓치지 않기 위해 연구진이 제안한 새로운 특징 선택 기법 최근 Frontiers in Big Data 에 게재된 탄자니아 넬슨 만델라 아프리카 과학기술대학교(Nelson Mandela African Institution of Science and Technology) 연구진의 연구에서는 기존 머신러닝 기반 네트워크 침입 탐지 시스템(Network Intrusion Detection System, NIDS)이 가진 중요한 한계를 해결하기 위한 새로운 특징 선택(feature selection) 방법을 제안했다. 오늘날 기업과 대학, 공공기관은 하루에도 수백만 건의 네트워크 데이터를 처리한다. 이 가운데 실제 해킹이나 침입 시도는 극히 일부에 불과하다. 문제는 이러한 희귀한 공격 이 오히려 가장 치명적인 피해를 유발하지만, 머신러닝 모델은 데이터가 적은 공격 유형을 제대로 학습하지 못하는 경우가 많다는 점이다. 이번 연구는 이러한 문제를 해결하기 위해 Adaptive Class-Aware Feature Selection(ACAFS) 라는 새로운 특징 선택 프레임워크를 개발했다. 연구 결과는 불필요한 데이터를 크게 줄이면서도 희귀 공격 탐지 성능을 향상시킬 수 있음을 보여준다. 데이터가 많을수록 탐지가 어려워지는 이유 네트워크 침입 탐지 시스템은 수많은 네트워크 연결 정보를 분석해 정상 트래픽과 악성 트래픽을 구분한다. 하지만 최신 네트워크 데이터셋에는 수십 개에서 수백 개의 특징(feature)이 포함된다. 모든 특징이 실제 탐지에 도움이 되는 것은 아니다. 불필요하거나 서로 비슷한 특징이 많아질수록 학습 시간이 길어지고, 모델이 과적합(overfitting)되기 쉬우며, 실제 운영 환경에서 속도가 저하되고 오히려 탐지 정확도가 떨어질 수 있다. 따라서 중요한 특징만 선택하는 과정인 특징 선택(feature selection) 은 침입 탐지 시스템의 핵심 단계로 여겨진다. 기...

AI 피드백으로 사람처럼 움직이는 AI를 만든다… 텍스트-모션 생성 정확도를 높인 MoDiPO 연구

이미지
인간의 선호를 직접 수집하지 않고도 AI가 더 자연스러운 동작을 생성하는 새로운 정렬(alignment) 기술이 제안됐다. 최근 이탈리아 사피엔차 로마대학교(Sapienza University of Rome) 연구진은 텍스트를 입력하면 사람의 움직임을 생성하는 AI 모델의 품질을 크게 향상시키는 새로운 정렬 기법인 MoDiPO(Motion Diffusion Direct Preference Optimization) 를 발표했다. 연구는 Frontiers in Computer Science 에 게재됐으며, 사람의 평가를 대규모로 수집하지 않고도 AI가 스스로 생성 결과를 평가해 더 자연스러운 동작을 학습하는 방법을 제시했다. 최근 생성형 AI는 이미지와 영상뿐 아니라 사람의 움직임까지 생성할 수 있는 수준에 도달했다. 하지만 같은 문장을 입력하더라도 생성 결과가 크게 달라질 수 있으며, 일부 결과는 실제 사람이 움직이는 것처럼 보이지 않거나 입력한 문장을 제대로 반영하지 못하는 문제가 있었다. 이번 연구는 바로 이러한 문제를 해결하기 위해 수행됐다. 연구진은 사람 대신 AI가 생성된 움직임을 평가하도록 만들어 비용은 크게 줄이면서도 생성 품질은 높일 수 있는 새로운 학습 방법을 제안했다. 같은 문장에서도 이상한 움직임이 생성되는 이유 텍스트 기반 사람 움직임 생성(Text-to-Motion)은 자연어 문장을 입력하면 그에 맞는 사람의 동작을 만들어내는 기술이다. 예를 들어 "계단을 내려간다", "공을 찬다", "양손을 머리 위로 올린다"와 같은 문장을 입력하면 AI가 관절 위치를 시간에 따라 예측해 하나의 동작 시퀀스를 생성한다. 최근에는 Diffusion Model 이 가장 뛰어난 성능을 보이고 있다. 확산모델은 하나의 문장에서도 다양한 결과를 만들 수 있다는 장점이 있다. 그러나 다양성이 지나치게 커지면 다음과 같은 문제가 발생한다. 팔이 비...

인공지능을 활용한 공정한 시험 답안 검증 시스템의 구조와 효과

이미지
  최근 교육 현장에서 대규모 학생의 답안을 효율적으로 평가하기 위해 인공지능 기반 자동 채점 시스템 도입이 빠르게 확산되고 있습니다. 하지만 알고리즘의 불투명성과 평가의 공정성 문제는 여전히 중요한 과제로 남아 있습니다. 이번 남아공 솔 플라체 대학교 연구진은 기존 자동 채점 시스템의 한계를 극복하고, 평가 결과의 투명성과 공정성을 보장하기 위한 '설명 가능한 공정성 인식 AI 프레임워크(Explainable Fairness-Aware AI Framework, EFAI-ESV)'를 제안했습니다. 이 연구는 단순히 점수를 예측하는 것을 넘어, 채점 결과가 루브릭(평가 기준)과 동료 학생들의 점수 분포에 비추어 공정한지를 체계적으로 검증하고 그 이유를 설명하는 새로운 접근 방식을 제시합니다. 시험 점수 검증 시스템의 핵심 구성 요소 이번 연구에서 제안한 검증 프레임워크는 크게 세 가지 상호 보완적인 모듈을 통합하여 채점의 신뢰성을 확보합니다. 우선, DeBERTa-v3 임베딩을 사용하여 학생 답안의 의미를 문맥적으로 파악하는 '의미론적 답안 평가(Semantic Response Evaluation)' 단계를 수행합니다. 이어지는 '루브릭 정렬 모듈(Criterion-level Rubric Alignment)'은 교차 주의 집중 메커니즘을 통해 학생 답안이 평가 기준을 얼마나 충실히 반영했는지 정량화합니다. 마지막으로, '동료 일관성 분석(Peer-Consistency Analysis)'은 의미적으로 유사한 답안들의 점수 분포를 통해 개별 학생이 받은 점수의 통계적 타당성을 검증합니다. 설명 가능한 AI를 통한 평가의 투명성 확보 이 시스템은 정량적 검증 결과뿐만 아니라, 관리자와 교육자가 채점 결과를 신뢰할 수 있도록 '설명 가능성 계층(Explainability Layer)'을 별도로 운용합니다. 이 계층은 주의 집중 맵 시각화, 통합 그래디언트(Integrated Gradient...

디지털 미디어의 법적 위험을 자동으로 선별하는 AI 앙상블 프레임워크

이미지
  이번 서유크라이나 국립대학교 연구진의 연구에 따르면, 인공지능(AI)을 활용해 디지털 미디어 콘텐츠의 법적 위험을 사전 선별하는 '앙상블 및 아비터(Ensemble and Arbiter)' 프레임워크가 개발되었다. 이 연구는 우크라이나와 유럽연합(EU)의 서로 다른 법적 기준을 동시에 고려하면서, 여러 AI 모델의 판단을 종합해 위험 수준을 분류하고 인간 전문가의 검토가 필요한 사례를 자동으로 식별한다. 글로벌 모드에서 이 시스템은 인간 전문가의 평가와 95.8%의 높은 일치도를 보였으며, 치명적인 법적 위험(CRITICAL) 사례를 놓칠 확률을 6.3%까지 낮췄다. 디지털 미디어 환경에서 법적 정보 과부하가 발생하는 이유 디지털 미디어 산업에서 AI의 도입은 콘텐츠 생성과 검토 속도를 비약적으로 높였으나, 동시에 복잡한 법적 규제와 충돌하는 '법적 정보 과부하' 문제를 야기했다. 미디어 기업은 국가 헌법, 매체 관련 법규, 플랫폼 운영 규칙, 그리고 급변하는 판례를 동시에 고려해야 하는 상황에 놓여 있다. 특히 우크라이나의 전시 상황에 따른 국가 안보 제한과 EU의 디지털 서비스법(DSA) 등 서로 다른 관할권의 규범이 중첩되면서, 이를 자동화된 결정 지원 시스템에 일관되게 반영하는 것은 어려운 과제로 남아 있었다. 기존 연구들은 기술적 관점의 콘텐츠 검토나 특정 지역의 법적 책임에 치중되어 있어, 여러 관할권의 법적 기준을 기계가 읽을 수 있는 형태로 통합하여 운영하는 방법론은 부족한 실정이었다. AI 앙상블과 아비터가 위험을 선별하는 과정 이번 연구진이 제안한 앙상블 및 아비터(Ensemble & Arbiter) 구조는 서로 다른 AI 모델들의 의견을 모으고, 전문가 시스템을 통해 최종 위험 등급을 판정하는 검증 가능한 파이프라인이다. 이 프레임워크는 단순히 결과를 생성하는 것을 넘어, 각 단계에서 법적 근거와 추론 과정을 기록하여 투명성을 확보한다. 연구진은 시스템의 신뢰도를 높이기 위해 다음과 같은 기술...