"AI가 시키는 대로 안 하고 자꾸 엉뚱한 소리를 해요." "질문을 길게 썼더니 갑자기 네트워크 에러라면서 멈춰버렸어요."

AI 특강이나 컨설팅을 진행하다 보면 가장 많이 듣는 하소연입니다. 앞선 시리즈에서 프롬프트 작성 공식도 배우고, 보안 수칙도 지켰는데 왜 막상 실전에서는 자꾸 에러 창이 뜨거나 AI가 대답을 거부하는 걸까요? 저 역시 초기에는 완벽하다고 생각했던 프롬프트를 넣었다가 붉은색 에러 메시지를 마주하고 컴퓨터를 껐다 켰다 하며 스트레스를 받았던 경험이 있습니다.

하지만 AI가 멈추거나 엉뚱한 대답을 내놓는 데는 명확한 이유가 있습니다. 기계는 거짓말을 하지 않으니까요. 오늘은 우리가 프롬프트를 작성할 때 무심코 저지르는 실수들과, AI를 자꾸 '고장' 나게 만드는 3가지 결정적 이유를 속 시원히 파헤쳐 보겠습니다.

1. 맥락이 생략된 '스무고개형' 프롬프트

AI가 가장 싫어하는 것은 '모호함'입니다. 사람은 개떡같이 말해도 찰떡같이 알아듣는 눈치가 있지만, AI는 오직 입력된 텍스트의 확률에만 의존합니다.

프롬프트 오류의 절반 이상은 사용자가 자기 머릿속에만 있는 배경지식을 AI에게 제대로 설명하지 않아서 발생합니다. 예를 들어 "내일 발표할 자료 좀 요약해 줘"라고만 입력하면, AI는 그 발표가 학교 과제인지, 회사의 임원 보고인지, 청중이 누구인지 알 길이 없습니다. 결국 자신이 가진 방대한 데이터 속에서 길을 잃고 아무 말 대잔치를 하거나, "어떤 자료를 말씀하시는 건가요?"라며 대답을 회피하게 됩니다.

[해결책] 프롬프트를 쓸 때는 반드시 'AI는 갓 입사한 외국인 인턴'이라고 생각해야 합니다.

  • "나는 내일 마케팅 부서 임원들 앞에서 신제품 기획안을 발표할 거야. (상황 부여)"

  • "아래 붙여넣은 3페이지짜리 초안을 바탕으로, 핵심 기대 효과 3가지를 강조해서 발표 대본을 써줘. (구체적 지시)" 이렇게 맥락을 꽉 잡아주면 AI가 엉뚱한 길로 빠지는 오류를 원천 차단할 수 있습니다.

2. 한 번에 너무 많은 것을 지시하는 '과부하' (충돌하는 조건)

의욕이 앞선 나머지 프롬프트 하나에 너무 많은 요구사항을 욱여넣는 것도 잦은 오류의 원인입니다.

"이 기사를 요약해 주고, 그 요약본을 영어로 번역한 다음, 번역된 글의 핵심 단어 10개를 뽑아서 표로 만들어주고, 마지막으로 블로그 제목 5개도 추천해 줘. 아, 그리고 말투는 전문적으로 해줘."

사람이라도 숨이 턱 막히는 지시입니다. AI 역시 한 번에 너무 많은 단계의 연산을 요구받으면, 지시어끼리 서로 충돌을 일으킵니다. '전문적인 말투'와 '표 만들기' 사이에서 가중치를 계산하다가 앞의 지시(번역하기)를 까먹거나, 연산 시간이 길어져 결국 시스템이 대답을 포기해 버리는(Time-out) 현상이 발생합니다.

[해결책] 전문 용어로 '생각의 사슬(Chain of Thought)' 기법을 활용해야 합니다. 한 번에 5가지를 시키지 말고, 대화를 나누듯 한 단계씩 끊어서 지시하세요.

  • 1차 지시: "이 기사를 3줄로 요약해 줘." -> (결과물 확인)

  • 2차 지시: "좋아, 그 요약본을 영어로 번역해 줘." -> (결과물 확인)

  • 3차 지시: "이제 그 번역본에서 핵심 단어 10개를 뽑아 표로 만들어줘." 단계를 나누면 오류 확률이 거의 0%로 떨어지고 결과물의 품질은 훨씬 높아집니다.

3. 눈에 보이지 않는 한계점: '토큰(Token) 초과'와 시스템 불안정

가끔은 내 프롬프트가 완벽해도 오류가 날 때가 있습니다. 이때는 기술적인 한계인 '토큰(Token)' 개념을 이해해야 합니다. AI는 우리가 입력한 글자를 단어의 조각(토큰) 단위로 쪼개서 인식합니다. 그런데 AI 모델마다 한 번에 기억하고 처리할 수 있는 토큰의 최대치(컨텍스트 윈도우)가 정해져 있습니다.

수십 페이지에 달하는 논문이나 책 한 권 분량의 텍스트를 한 번에 복사해서 붙여넣으면, AI의 기억 용량이 초과되어 프롬프트가 잘려 나가거나 아예 작동을 멈추게 됩니다. 또한, 미국 현지 시간으로 낮 시간대(한국 시간으로 늦은 밤~새벽)에는 전 세계 사용자가 몰려 서버 과부하로 인한 '네트워크 에러(Network Error)'가 밥 먹듯이 발생합니다.

[해결책] 긴 문서는 한 번에 넣지 말고 "지금부터 내가 문서를 세 번에 나눠서 줄 테니, 다 받을 때까지 요약하지 말고 '대기 중'이라고만 대답해"라고 지시하여 쪼개어 입력해야 합니다. 또한, 붉은색 에러 창이 떴을 때는 내 잘못이 아니라 서버 문제일 확률이 높으니, 5분 정도 기다렸다가 새로고침(F5)을 하거나 'Regenerate(재생성)' 버튼을 누르는 것이 가장 빠른 해결책입니다.

핵심 요약 및 마무리

  • AI가 엉뚱한 대답을 하는 이유는 배경 설명(맥락)이 빠진 모호한 지시 때문입니다. 상황을 구체적으로 부여하세요.

  • 한 번에 여러 가지 복잡한 지시를 내리면 시스템 과부하가 걸립니다. 한 단계씩 끊어서 지시하는 습관을 들이세요.

  • 텍스트 길이가 너무 길면 토큰 초과 오류가 발생하며, 알 수 없는 네트워크 에러는 주로 서버 문제이므로 잠시 후 다시 시도하는 것이 좋습니다.

이제 왜 내 프롬프트만 자꾸 오류를 뿜어냈는지 그 이유를 조금은 아셨을 거라 생각합니다. 실패를 두려워하지 말고 원인을 파악해 가며 대화의 기술을 늘려보시기 바랍니다.

다음 13편부터는 AI를 조금 더 '고급'스럽게 활용하는 단계로 넘어갑니다. 굳이 AI 사이트에 접속하지 않아도 내 웹서핑을 도와주는 '[유지/고급] 크롬 브라우저에 날개를 달아주는 무료 AI 확장 프로그램 5선'을 소개해 드리겠습니다. 업무 속도가 2배는 빨라지는 신세계를 경험하실 수 있을 겁니다.

여러분은 AI를 사용하면서 가장 황당했거나 짜증 났던 에러 메시지(또는 엉뚱한 답변)는 무엇이었나요? 댓글로 여러분의 뼈아픈(?) 실패담을 공유해 주세요!