AI는 왜 틀린 말을 맞는 것처럼 할까?

AI 답은 문장도 반듯하고 설명 순서도 자연스럽습니다. 그래서 내용까지 확인된 것처럼 느끼기 쉽습니다.

OpenAI 연구진은 언어 모델이 많은 글에서 다음 말을 예측하며 배우고, 이때 모든 문장에 참과 거짓 정답표가 붙어 있는 것은 아니라고 설명합니다.[1]

말을 자연스럽게 하는 능력과 사실을 맞히는 능력은 다릅니다.

이름과 날짜처럼 드물고 딱 하나인 정보는 문장 흐름만으로 맞히기 더 어렵습니다. 빈칸이 남으면 그럴듯한 말로 채워질 수 있습니다.

학교 객관식 시험에서 빈칸은 0점이지만 찍으면 운 좋게 맞을 수 있습니다. AI를 평가하는 방법도 정답 수만 세면 비슷한 일이 생길 수 있습니다.

2025년 OpenAI 연구는 모른다고 멈추는 답보다 무언가를 추측한 답이 점수를 얻기 쉬운 평가가 자신만만한 오류를 늘릴 수 있다고 지적했습니다.[1]

자신 있게 말한다는 건 확실히 안다는 뜻이 아닙니다.

답 끝에 출처가 붙어 있어도 안심하기는 이릅니다. 실제 제목을 조금 바꾸거나, 서로 다른 자료의 내용을 한 문장에 섞을 수도 있습니다.

더 똑똑해 보이는 AI라면 이런 실수도 전부 사라질 것 같지만, 크기만으로 사실 문제가 자동 해결되지는 않습니다.

TruthfulQA 연구는 817개 질문을 38개 분야에서 모아 당시 모델들을 시험했습니다. 가장 좋은 모델도 진실한 답의 비율이 58%였고, 사람 기준은 94%였습니다.[2]

이 숫자는 2021년에 실험한 옛 모델의 결과입니다. 지금 쓰는 AI의 현재 점수처럼 읽으면 안 됩니다.

이 연구에서 가져갈 핵심은 숫자보다 “말을 잘한다고 전부 맞는 것은 아니다”라는 경고입니다.

사람 이름, 날짜와 최신 정보, 숫자와 통계, 논문·기사·책 제목이 나오면 잠깐 멈춥니다. 짧은 확인으로 잡히는 실수가 많습니다.

OpenAI의 청소년 AI 이용 안내서도 인용문, 통계, 기술 정보, 외부 문서는 원문을 직접 확인하라고 권합니다.[3]

순서는 간단합니다. 링크를 열고, 본문에 그 말이 실제로 있는지 찾고, 작성일이나 업데이트 날짜를 봅니다.

링크가 열리지 않거나 제목만 비슷하다면 과제나 글에 넣기 전에 다른 출처를 다시 찾습니다.

AI는 아이디어를 넓히고, 어려운 내용을 다시 설명하고, 흩어진 생각을 정리하는 데 꽤 유용합니다. 문제는 초안과 확인을 같은 일로 생각할 때 생깁니다.

초안은 AI와 빠르게 만들고, 사실은 사람이 다시 봅니다. 중요한 결정일수록 믿을 만한 사람이나 공식 자료의 도움도 함께 받습니다.

AI는 생각을 시작하는 파트너가 될 수 있지만, 무엇이 사실인지 마지막으로 고르는 사람은 나입니다.

한 번 틀렸다고 전부 버릴 필요도, 한 번 맞았다고 전부 맡길 필요도 없습니다. 잘하는 일과 확인이 필요한 일을 나누면 됩니다.