AI 서비스를 적극적으로 업무나 일상에 활용하다 보면, 어느 순간 소름 돋을 정도로 당황스러운 경험을 하게 됩니다. 분명히 존재하지 않는 책의 제목을 그럴싸한 줄거리와 함께 추천해 주거나, 가공의 인물을 역사 속 위인처럼 포장해 아주 당당하게 설명하는 순간입니다.

저 역시 처음 AI를 접했을 때, 특정 IT 기술의 역사적 배경에 대해 질문했다가 완벽한 문장으로 지어낸 거짓말에 속아 블로그에 잘못된 정보를 올릴 뻔한 아찔한 기억이 있습니다. 나중에 알고 보니 그 기술은 언급된 연도보다 훨씬 뒤에 개발된 것이었죠. 이처럼 인공지능이 마치 진짜 사실인 것처럼 거짓 정보를 매끄럽게 출력하는 현상을 기술 용어로 '할루시네이션(Hallucination, 환각 현상)'이라고 부릅니다.

AI를 내 완벽한 비서로 부리기 위해서는 이 환각 현상이 왜 발생하는지 이해하고, 이를 걸러내고 통제할 수 있는 나만의 대처법을 반드시 알고 있어야 합니다. 오늘 그 구체적인 전략을 정리해 드립니다.

AI는 왜 눈 하나 깜짝 안 하고 거짓말을 할까?

우리가 먼저 오해하지 말아야 할 점은, AI가 인간처럼 '의도를 가지고 속이려고' 거짓말을 하는 것이 아니라는 사실입니다.

챗GPT나 클로드 같은 생성형 AI의 본질은 '다음에 올 가장 확률이 높은 단어를 예측하여 문장을 이어가는 기계'입니다. 즉, AI는 자신이 하는 말이 진짜 사실인지(True) 거짓인지(False)를 판단하는 자의식이 없습니다. 그저 사용자가 던진 질문에 대해 학습된 방대한 데이터 속에서 "이 질문 뒤에는 이런 단어 조합이 나오면 가장 자연스럽겠구나"를 계산해 문장을 완성할 뿐입니다.

정보가 부족하거나 학습 데이터에 공백이 생기면, AI는 문장의 완성도를 높이기 위해 그 공백을 확률적으로 그럴듯한 단어들로 채워 넣기 시작합니다. 이것이 바로 우리가 겪는 당당한 거짓말의 정체입니다.

할루시네이션을 유도하는 사용자의 흔한 실수

재미있게도 환각 현상은 AI 자체의 한계 때문이기도 하지만, 사용자의 질문 방식(프롬프트) 때문에 증폭되기도 합니다. 대표적인 경우가 '유도 신문' 형태의 질문을 던질 때입니다.

예를 들어, 존재하지 않는 가상의 사건을 지어내어 "2023년에 발생한 서울역 고양이 대소동 사건에 대해 자세히 설명해 줘"라고 질문하면, AI는 "그런 사건은 없습니다"라고 답하기보다 사용자의 질문에 맞춰 존재하지도 않는 고양이 대소동의 원인과 결과를 소설 쓰듯 창작해 낼 확률이 매우 높습니다. 사용자가 이미 '그런 사건이 존재한다'는 전제를 깔고 질문했기 때문에, AI는 그 전제에 맞춰 '가장 자연스러운 문장'을 만들어내려고 하기 때문입니다.

완벽하게 속지 않는 실전 대처 및 방지 전략 3가지

그렇다면 이 똑똑하지만 거짓말을 잘하는 비서를 어떻게 다루어야 할까요? 제가 실무에서 큰 효과를 보았던 세 가지 프롬프트 기술과 검증 프로세스를 소개합니다.

  1. 도망갈 구멍 만들어주기 (모르면 모른다고 말하게 하기)
    프롬프트를 작성할 때 맨 마지막에 이 한 줄을 반드시 추가해 보세요. "만약 해당 사실에 대해 정확한 데이터가 없거나 확실하지 않다면, 억지로 지어내지 말고 '잘 모르겠습니다' 또는 '확인할 수 없습니다'라고 솔직하게 답변해 줘." 이 간단한 제약 조건 하나만으로도 AI의 환각 현상이 발생할 확률이 극적으로 줄어듭니다. AI에게 '정답을 맞춰야 한다'는 압박감을 덜어주고 문장의 솔직함을 강제하는 효과가 있습니다.

  2. 근거 및 출처 요구하기
    AI에게 답변을 요구할 때 논리적 근거를 함께 제시하라고 명시하는 방법입니다. "위 답변을 작성할 때 참고한 핵심 논리나 대략적인 출처, 혹은 네가 그렇게 판단한 이유를 단계별로 설명해 줘." 답변 과정을 단계별로 쪼개어 설명하게 만들면(이를 기술적으로 '생각의 사슬, Chain of Thought' 유도라고 합니다), AI가 문맥을 스스로 검증하면서 중간에 엉뚱한 거짓말을 끼워 넣는 오류가 눈에 띄게 줄어듭니다.

  3. 역할 분담을 통한 교차 검증 (크로스 체크)
    중요한 기획서나 블로그 글을 쓸 때는 한 창에서 끝내지 말고 멀티태스킹을 하세요. 챗GPT가 써준 내용을 그대로 복사해서 클로드나 구글 제미나이에 붙여넣은 뒤, 이렇게 질문하는 것입니다. "아래 내용은 다른 AI가 작성한 정보성 글이야. 이 내용 중에 사실과 다르거나 왜곡된 정보, 혹은 할루시네이션으로 의심되는 부분이 있다면 예리하게 찾아내서 지적해 줘." 각기 다른 뇌(대형 언어 모델)를 가진 AI끼리 서로를 감시하게 만들면 인간이 미처 발견하지 못한 팩트의 오류를 아주 쉽게 잡아낼 수 있습니다.

핵심 요약

  • AI의 할루시네이션(환각)은 악의적인 거짓말이 아니라, 문장을 자연스럽게 완성하려는 확률적 계산 과정에서 발생하는 오작동입니다.

  • 없는 사실을 전제로 질문하는 '유도 신문'은 AI의 거짓말을 부추기므로 피해야 합니다.

  • 프롬프트에 "모르면 모른다고 답하라"는 제약 조건을 걸고, 단계별 근거를 요구하면 환각 현상을 크게 예방할 수 있습니다.

  • 최종 결과물은 다른 AI 서비스를 활용해 교차 검증(크로스 체크)을 거치는 습관이 안전합니다.

AI가 주는 정보의 정확성을 확보하는 방법을 배웠다면, 이제는 그 결과물을 현실 세계에 내보낼 때 발생하는 현실적인 문제를 고민해야 합니다. 다음 10편에서는 많은 분들이 가장 헷갈려하고 두려워하는 이슈인 '[문제해결] AI가 만든 이미지와 글, 내 블로그에 마음대로 써도 될까? (저작권 이슈)'에 대해 명쾌하게 정리해 드리겠습니다.

여러분은 AI를 사용하면서 "와, 이건 진짜 사람처럼 당당하게 거짓말을 하네!"라고 느꼈던 황당하거나 재밌는 경험이 있으신가요? 여러분이 겪은 AI의 할루시네이션 사례를 댓글로 공유해 주세요!