AI가 쓴 단편이 인간 작품보다 더 좋은 평가를 받았습니다. 독자들은 누가 썼는지도 대부분 가려내지 못했습니다. 이 결과만 보면 AI가 사람의 마음까지 이해하기 시작한 듯합니다.
여기서 눈에 걸리는 단어는 ‘점수’입니다. AI 성능이 빠르게 올랐다는 코딩 평가에는 테스트라는 답안지가 있습니다. 수학도 맞혔는지 빠르게 확인할 수 있습니다. 그런데 정답이 없는 이야기에도 점수를 매겼습니다. 이 점수들은 같은 것을 말하고 있을까요?
그 간격을 이해하려면 질문을 하나 바꿔야 합니다. AI가 무엇을 잘하느냐보다, 우리는 무엇을 쉽게 채점할 수 있느냐를 먼저 봐야 합니다.
AI 단편은 더 좋은 점수를 받았습니다
Sears와 Weisberg는 사실주의 단편 여섯 편을 놓고 독자의 반응을 비교했습니다. 세 편은 인간 작가가 썼고, 세 편은 ChatGPT 4.0이 만들었습니다. AI에는 인간 작품의 주제, 관점, 상징, 시대 배경에 맞춘 구체적인 지시가 주어졌고, 각 작품은 약 1,000단어였습니다.
첫 실험에는 1,682명이 참여했습니다. 평균적으로 AI 단편은 인간 단편보다 품질과 몰입에서 더 높은 평가를 받았습니다. 같은 글이라도 인간이 썼다고 표시하면 평가가 올라가는 효과도 있었습니다.
이어진 두 실험에서도 참가자들은 작품의 저자가 AI인지 인간인지 전체적으로 우연 수준보다 잘 구분하지 못했습니다.
물론 이 결과를 문학 전체의 승부로 읽을 수는 없습니다. 비교한 것은 세밀하게 설계된 프롬프트로 만든 짧은 사실주의 소설이었고, 미국 성인 온라인 표본은 인간과 AI 중 하나를 반드시 골라야 했습니다. 이 조건에서 AI 단편이 더 높은 점수를 받았다는 데까지만 확인할 수 있습니다.
그래도 높은 선호 점수는 남습니다. 이 점수를 ‘이해’로 읽기 전에, AI가 빠르게 좋아진 다른 영역에서 점수가 어떤 역할을 했는지 볼 필요가 있습니다. 코딩과 수학에서는 답을 바로 확인할 수 있었습니다.
정답을 바로 확인할 수 있으면 무엇이 달라질까요?
코드에는 테스트 통과 여부가 있고, 수학에는 최종 답을 확인하는 규칙이 있습니다. 모델이 답을 만들 때마다 맞았는지 빠르게 확인하고 그 결과를 다음 학습에 돌려줄 수 있습니다.
검증기의 판정을 보상으로 쓰는 이 학습 방식을 RLVR이라고 부릅니다. 규칙으로 답을 판정할 수 있는 문제에서는 같은 피드백을 빠르게 반복할 수 있습니다.
2026년에 나온 한 연구는 RLVR이 수학과 코딩 같은 구조화된 영역에서 효과를 보였다고 정리했습니다. 동시에 단순한 규칙 기반 검증기를 적용할 수 있는 범위는 그런 영역 안에서도 예상보다 좁다고 지적했습니다. 정답이 있는 분야라고 해서 모두 자동으로 채점할 수 있는 것은 아닙니다.
다른 연구에서는 RLVR이 모델이 이미 갈 수 있는 정답 경로를 더 효율적으로 찾게 했지만, 근본적으로 새로운 추론 패턴을 끌어냈다는 증거는 찾지 못했습니다. 일부 조건에서는 모델이 풀 수 있는 문제의 경계가 오히려 좁아질 수 있었습니다.
두 연구를 함께 놓으면 장점과 한계가 같은 자리에서 보입니다. 명확한 채점기는 모델을 빠르게 조정하는 데 유리합니다. 그렇다고 채점기 하나가 새로운 능력 전체를 만들어냈다고 말할 수는 없습니다.
그렇다면 채점하기 쉬운 코딩의 점수는 그대로 믿어도 될까요? 여기서 이야기가 한 번 더 꼬입니다.
코딩에도 완벽한 정답표는 없었습니다
OpenAI가 발표한 SWE-bench Verified 결과를 같은 표에 놓으면 상승폭이 또렷해 보입니다.
| 발표 모델 | SWE-bench Verified | 평가 조건에서 확인할 점 |
|---|---|---|
| GPT-4o | 33.2% | GPT-4.1 발표에서 제시한 비교값 |
| GPT-4.1 | 54.6% | 500문제 중 실행할 수 없던 23문제 제외. 포함해 0점 처리하면 52.1% |
| GPT-5 | 74.9% | 같은 23문제 제외. 철저한 검증을 강조한 별도 프롬프트 사용 |
하지만 2026년 2월 OpenAI는 이 벤치마크를 프런티어 모델 평가에 더 쓰지 않겠다고 밝혔습니다. 다시 살핀 138문제 가운데 59.4%는 결함 있는 테스트가 올바른 해법을 거부할 수 있었고, 학습 데이터 오염도 확인됐기 때문입니다.
위 표는 당시 회사가 보고한 결과입니다. 모델 능력이 33.2에서 74.9로 깨끗하게 상승했다는 증거는 아닙니다. 프롬프트와 도구, 제외한 문제, 테스트 품질이 모두 점수에 들어가 있습니다.
정답이 있는 코딩도 잘못 만든 테스트를 만나면 올바른 해법에 틀렸다는 판정을 내릴 수 있습니다. 정답이 있다는 것과 그 정답을 제대로 재는 것은 같은 일이 아닙니다. 코딩조차 이렇다면, 정답 파일이 없는 이야기와 감정은 무엇으로 채점해야 할까요?
이야기와 감정에는 한 장의 정답표가 없습니다
이야기는 코딩처럼 모두가 동의하는 정답 파일이 없습니다. 앞서 본 단편 실험도 사람들이 무엇을 좋아했는지는 보여주지만, 그 선택이 하나의 고정된 답이라고 말하지는 않습니다. 같은 글도 인간이 썼다고 믿으면 평가가 달라졌습니다.
감정은 더 여러 갈래로 나뉩니다. 사전공개 논문인 AttuneBench v2는 실제 인간과 모델이 나눈 멀티턴 대화 200건으로 여러 모델을 평가했습니다. 그런데 감정 인식, 행동 분류, 사람의 선호 예측, 응답 품질에서 나온 모델 순위는 대체로 서로 독립적이었습니다.
감정을 잘 알아본 모델이 반드시 가장 좋은 반응을 내놓지는 않았고, 좋은 반응을 만든 모델이 사람의 선호까지 가장 잘 예측한 것도 아니었습니다. 이 차이를 하나의 ‘인간 이해 점수’로 묶을 수는 없습니다.
| 평가 대상 | 비교적 분명한 기준 | 기준이 놓치는 것 |
|---|---|---|
| 코드 | 테스트 통과 여부 | 결함 있는 테스트, 실행 환경, 여러 정답 |
| 수학 | 최종 답 또는 풀이 검증 | 새로운 풀이의 가치, 검증기 범위 밖 문제 |
| 창작 | 여러 사람의 선호 비교 | 취향의 차이, 장르와 맥락, 장기적 평가 |
| 감정 이해 | 감정 분류·선호 예측·응답 품질 | 실제 관계, 문화, 목소리와 표정, 긴 시간의 상호작용 |
같은 ‘점수’라는 이름을 써도 안에서 재는 것은 다릅니다. 코딩, 수학, 문학, 감정 이해의 숫자를 한 그래프에 올려 어느 능력이 더 빨리 늘었다고 계산할 수 없는 이유입니다.
이제 처음의 단편 실험으로 돌아가면 높은 점수의 의미도 달라집니다. AI가 사람들이 좋아할 이야기를 만들었다는 것과, 사람을 깊이 이해했다는 것은 같은 결론이 아닙니다.
사람을 만족시키는 것과 이해하는 것은 같은가
같지 않습니다. 적어도 지금의 평가로는 두 능력을 하나로 묶을 수 없습니다.
단편 연구에서는 사람들이 특정 조건에서 AI 단편을 더 높게 평가했고, 누가 썼는지도 대부분 구분하지 못했습니다. 이것은 AI가 사람의 선호를 만족시키는 출력을 만들 수 있다는 강한 사례입니다.
하지만 같은 연구에서 저자 표시만 인간으로 바꿔도 평가가 올라갔습니다. 우리는 글자만 보는 것이 아니라 누가 썼다고 믿는지까지 함께 평가합니다. 짧은 작품에서 높은 평균 점수를 받는 능력과 한 사람의 사정과 감정을 오래 이해하는 능력은 같은 시험이 아닙니다.
AttuneBench에서도 감정 인식과 선호 예측, 응답 품질의 순위가 따로 움직였습니다. 그래서 지금 말할 수 있는 범위는 분명합니다. 사람들이 좋아할 출력을 만드는 능력은 빠르게 좋아졌지만, 그 결과만으로 깊은 인간 이해를 증명할 수는 없습니다.
정답이 없는 곳에서는 어떨까요?
정답을 확인하기 쉬운 분야에서 AI는 더 빨리 발전한 것으로 보입니다. 그곳에서는 맞고 틀림을 확인하고, 그 결과를 학습에 바로 돌려줄 수 있기 때문입니다.
그러면 정답이 없는 영역은 어떨까요? 앞서 본 실험에서 AI가 쓴 이야기는 인간 작품보다 더 좋은 평가를 받았습니다. 그렇다면 AI는 인간을 더 잘 이해하게 된 걸까요, 아니면 사람들이 좋아할 답을 더 잘 만들게 된 걸까요?
그리고 우리는 지금 그 차이를 제대로 측정하고 있을까요?
출처
이 글에서 ‘이해’는 의식이 있는지 묻는 철학적 의미가 아니라, 사람의 상황과 선호를 파악하고 적절한 반응을 내놓는 실용적 능력을 뜻합니다. 2025~2026년에 공개된 코딩·추론 평가와 검증 가능한 보상 연구, 창작·감정 이해 평가를 바탕으로 연구가 직접 확인한 결과와 이 글의 해석을 구분했습니다.
- Sears & Weisberg, Bot or not: Can people tell the difference between stories written by a human or by an AI system?, Judgment and Decision Making, 2026
- OpenAI, GPT-4.1, 2025
- OpenAI, Introducing GPT-5 for developers, 2025
- OpenAI, Why we no longer evaluate SWE-bench Verified, 2026
- Su et al., Crossing the Reward Bridge, ACL 2026
- Yue et al., Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?, NeurIPS 2025
- LitBench, arXiv preprint, 2025
- AttuneBench v2, arXiv preprint, 2026
- EQ-Bench 4, 2026년 8월 13일 확인