AI로 쓴 소설은 판별되는가: 판별기의 실제 정확도와 작가의 대응

AI로 쓴 소설은 판별되는가

현재 기술로는 확정적으로 판별되지 않습니다. AI 판별기는 문장의 통계적 특성을 보고 확률을 추정할 뿐, "이 글은 AI가 썼다"를 증명하지 못합니다.

이 사실은 작가에게 양방향으로 중요합니다. AI를 쓴 사람에게는 "안 걸린다"는 뜻이기도 하지만, 동시에 AI를 쓰지 않은 사람이 의심받았을 때 결백을 증명할 수단도 없다는 뜻입니다. 실무에서 더 자주 문제가 되는 쪽은 후자입니다.

판별기는 무엇을 보고 판단하는가

AI 판별기는 글의 의미를 이해하지 않습니다. 다음 단어가 얼마나 예측 가능한가를 봅니다.

언어 모델은 확률이 높은 단어를 고르는 경향이 있어, 생성된 문장은 사람의 글보다 예측 가능성이 높고 문장 길이와 리듬의 편차가 작습니다. 판별기는 이 두 가지 성질을 수치로 바꿔 점수를 냅니다.

문제는 이 성질이 AI만의 특징이 아니라는 점입니다.

• 문장을 짧고 규칙적으로 쓰는 작가
• 장르 관습을 충실히 따르는 글
• 퇴고를 많이 해 문장이 정돈된 원고
• 모국어가 아닌 언어로 쓴 글

모두 "예측 가능한 문장"에 가까워집니다. 웹소설처럼 가독성을 위해 문장을 의도적으로 단순화하는 장르는 구조적으로 판별기의 오탐에 노출되기 쉽습니다.

공개된 정확도 수치

가장 분명한 근거는 AI를 만든 회사가 직접 내놓은 결과입니다.

OpenAI는 2023년 1월 AI 작성 텍스트 판별기를 공개했다가 같은 해 7월 정확도가 낮다는 이유로 서비스를 중단했습니다. 회사가 밝힌 수치는 AI가 쓴 글의 26%만 정확히 탐지하고, 사람이 쓴 글의 9%를 AI로 잘못 분류한다는 것이었습니다.

편향도 확인됩니다. 비원어민이 쓴 영어 에세이(TOEFL 91편)를 7개 판별기에 넣은 연구에서는 평균 오탐률이 61.3%로 나타났고, 91% 이상의 에세이가 최소 하나의 판별기에서 AI로 분류됐습니다. 같은 도구가 원어민 중학생 글에는 거의 오탐을 내지 않았습니다. 같은 연구는 간단한 다시 쓰기만으로 실제 AI 생성 텍스트가 탐지를 빠져나갔다는 점도 함께 보고했습니다.

항목	공개된 수치
AI 텍스트 탐지율 (OpenAI 자체 판별기)	26%
사람 글 오탐률 (동일 판별기)	9%
비원어민 영어 에세이 평균 오탐률 (판별기 7종)	61.3%
해당 도구의 원어민 대조군 오탐률	거의 0%

여기에 한국어 사정이 더해집니다. 판별기 대부분은 영어 데이터를 중심으로 만들어졌고, 한국어 창작 산문에 대한 검증 결과는 훨씬 적습니다. 영어에서도 신뢰하기 어려운 도구를 한국어 소설에 적용한 결과는 더 불안정하다고 보는 것이 타당합니다.

플랫폼은 실제로 판별하고 있는가

2026년 기준으로는 판별하지 않습니다. 국내 웹소설 플랫폼의 심의는 선정성·폭력성 같은 콘텐츠 등급 중심이고, AI 사용 여부를 가려내는 절차는 사실상 없습니다.

업계를 다룬 2026년 3월 보도에서도 텍스트는 이미지와 달리 확인할 방법이 거의 없고, 플랫폼 심의 구조가 AI 사용 여부를 판정하도록 설계되어 있지 않다는 점이 지적됐습니다. 동시에 AI 사용이 알려진 뒤 별점이 급락하거나 연재를 접는 사례도 함께 언급됩니다.

정리하면 현재 구조는 이렇습니다.

• 시스템이 잡아내는 일: 거의 없음
• 독자가 알아채는 일: 있음
• 알려졌을 때의 비용: 작품 평판으로 직접 청구됨

기술적 리스크보다 평판 리스크가 먼저 온다는 것이 지금의 실제 모습입니다.

AI 기본법은 작가에게 적용되는가

직접 적용 대상은 작가가 아니라 AI 사업자입니다.

2026년 1월 22일 시행된 AI 기본법은 생성형 AI를 제공하는 사업자에게 결과물이 AI로 만들어졌음을 알 수 있도록 표시할 의무를 둡니다. 개인 창작자가 AI로 만든 결과물을 플랫폼에 올리는 행위 자체는 이 법이 규율하는 지점이 아닙니다.

다만 이것이 "고지할 필요가 없다"는 뜻은 아닙니다. 실제로 작가를 구속하는 것은 법보다 계약과 요강입니다.

• 플랫폼 이용약관의 AI 관련 조항
• 공모전 요강의 AI 활용 금지·제한 규정
• 출판사 계약서의 원고 보증 조항

특히 공모전은 주최 측이 별도 기준을 두는 경우가 있어, 요강을 확인하지 않고 응모하면 수상 이후에 문제가 되는 구조가 만들어집니다.

진짜 리스크는 반대 방향에 있다

작가가 실제로 겪는 가장 곤란한 상황은 AI를 쓰지 않았는데 의심받는 경우입니다.

판별기는 증거를 만들지 못하지만, 의혹은 점수 하나로 충분히 퍼집니다. 그리고 앞서 본 대로 웹소설 문체는 구조적으로 오탐에 가깝습니다. 짧은 문장, 규칙적인 리듬, 장르 관습을 지키는 전개 — 모두 판별기가 "예측 가능하다"고 보는 특징입니다.

이때 유효한 것은 결과물이 아니라 과정의 기록입니다.

1. 집필 이력 — 회차가 어떤 순서로 쓰이고 고쳐졌는지 남은 기록
2. 사전 자료 — 설정 노트, 인물 자료, 플롯 메모처럼 집필 전에 만든 문서
3. 퇴고 흔적 — 초고와 발행본의 차이
4. AI 사용 내역 — 보조 도구를 썼다면 무엇에 어떻게 썼는지 스스로 정리해둔 기록

완성된 텍스트만 있으면 어떤 방식으로 만들어졌는지 구별할 수 없습니다. 반면 몇 주에 걸친 수정 이력과 그 이전의 설정 자료가 있으면, 판별기 점수보다 훨씬 설득력 있는 설명이 됩니다.

StoryBench는 작품의 설정·인물·복선과 회차 원고를 한 작업 공간에 쌓아두는 창작 관리 도구입니다. AI 기능은 작가가 요청할 때만 문장 단위로 동작하고 사용 내역이 기록으로 남기 때문에, 원고만 따로 보관하는 방식보다 과정을 보여주기가 쉽습니다. 다만 이 기록이 어떤 분쟁에서든 효력을 갖는 공인 증명은 아니라는 점은 분명히 해둘 필요가 있습니다.

보조와 생성의 경계는 어디인가

법적으로 갈리는 기준은 인간의 창작적 개입이 있었는가입니다. 이 기준은 저작권 인정 여부와 직결됩니다.

사용 방식	성격	창작적 개입
자료 조사, 용어 확인	보조	판단은 작가
오탈자·표기 교정	보조	판단은 작가
설정·복선 대조로 오류 찾기	보조	판단은 작가
장면 아이디어를 여러 개 받아 고르기	경계	선택과 재작성에 달림
문장 단위 이어쓰기를 받아 고쳐 쓰기	경계	수정 정도에 달림
프롬프트로 회차를 통째로 받아 그대로 발행	생성	개입 없음

마지막 줄이 실질적인 문제입니다. 개입 없이 만들어진 산출물은 저작권이 인정되지 않을 수 있고, 그 경우 내 작품인데 내 권리가 없는 상태가 됩니다. 이 부분은 AI로 쓴 웹소설의 저작권에서 따로 다뤘습니다.

마무리

• AI 판별기는 확률 추정 도구이지 증거가 아니다. 만든 회사조차 정확도를 이유로 서비스를 접었다
• 공개 수치 기준 AI 탐지율 26%, 사람 글 오탐 9%, 비원어민 영어 에세이에서는 평균 오탐률 61.3%였다
• 한국어 창작 산문 검증은 더 적다. 영어에서도 못 믿는 도구를 한국어 소설에 그대로 적용할 수 없다
• 플랫폼 심의는 AI 사용을 가려내는 구조가 아니다. 대신 알려졌을 때 평판으로 비용이 청구된다
• AI 기본법의 표시 의무 대상은 사업자다. 작가를 구속하는 것은 플랫폼 약관과 공모전 요강이다
• 더 현실적인 위험은 쓰지 않았는데 의심받는 쪽이다. 대비책은 결과물이 아니라 과정의 기록이다
• 보조와 생성을 가르는 기준은 인간의 창작적 개입이고, 이 기준이 그대로 저작권 인정 여부로 이어진다

AI를 창작에 쓰는 구체적인 방법은 AI와 함께 글쓰기, 도구별 차이는 AI 소설 쓰기 도구 비교에 정리되어 있습니다.

참고: OpenAI 판별기 수치는 해당 서비스 공개·중단 당시 공표된 값이며, 비원어민 오탐률은 TOEFL 에세이 91편을 판별기 7종에 적용한 연구 결과입니다. 플랫폼 심의 현황은 2026년 3월 국내 보도를 참고했습니다. AI 기본법의 적용 범위는 시행 초기 해석이 정리되는 중이므로, 구체적 사안은 플랫폼 약관과 법률 전문가의 확인을 받으시기 바랍니다. 이 글은 법률 자문이 아닙니다.