빈 값, 중간 취소, 엉뚱한 값 — GPT를 일부러 괴롭혀본 하루

이 글은 이런 분께

• 정상적인 사용은 테스트했는데, “이상하게 쓰면 어떻게 되지?”는 안 해본 분
• GPT나 챗봇을 만들 때 어디까지 검증해야 “충분히 테스트했다”고 할 수 있을지 감이 안 잡히는 분

Before — 정상적인 길만 확인했었다

시나리오 6개 검증에서는 대상·주제·시간 같은 조건을 항상 제대로 갖춰서 넣었다. 그런데 실제로 강사가 쓸 때는 항상 정보를 완벽하게 준비하고 시작하지 않는다. 급하게 쓰다가 중간에 정보를 빼먹거나, 뭘 넣어야 할지 몰라서 아무 말이나 적을 수도 있다. “정상적으로 잘 썼을 때”만 확인한 검증은 반쪽짜리라는 생각이 들었다.

어떻게 — 세 가지를 일부러 이상하게 넣어봤다

AI(쩌니)가 세 가지 테스트 케이스를 미리 정해줬고, 그대로 GPT에 하나씩 넣어봤다. GPT 빌더의 “미리보기”가 아니라 실제 채팅으로 진행했다 — 미리보기 대화는 저장이 안 되기 때문이다.

테스트 1. 빈 값 — 아무 정보 없이 요청

강의안 만들어줘.

결과: GPT가 “바로 활용 가능한 강의안을 만들려면 아래 6가지 정보가 모두 필요합니다”라며 필요한 항목을 안내했다. 그냥 텍스트로 되묻는 게 아니라, “강의 대상은 누구인가요?” 밑에 아동/청소년/성인/어르신 버튼을 자동으로 띄워줬다. 지침에 이런 UI를 만들라고 적어둔 적은 없는데, ChatGPT가 “정보가 부족하다”고 판단하면 자동으로 빠른 선택 카드를 붙여주는 것 같았다.

테스트 2. 중간에 취소 — 대충 답하고 넘기기

GPT가 6가지를 되묻는 상황에서, 정보를 주는 대신 이렇게 답했다.

몰라, 그냥 아무거나 대충 정해줘.

결과: GPT는 이 요청을 받아들이지 않고 계속 필요한 정보를 캐물었다. “대충”이라는 압박에 흔들리지 않고, 실제로 쓸 수 있는 강의안을 만들려면 정보가 필요하다는 태도를 유지했다.

테스트 3. 엉뚱한 값 — 말이 안 되는 조건 넣기

대상: 강아지 200마리
주제: 없음
시간: -30분

결과: 절반만 잡아냈다.

After — 형식은 강하고, 의미는 안 본다

세 테스트를 통틀어 보이는 패턴 하나가 뚜렷했다.

GPT는 “숫자·형식이 말이 되는지”는 꼼꼼히 검증하지만, “텍스트 내용이 의미상 말이 되는지”는 검증하지 않는다. 음수 시간(-30분)은 바로 잡아내고, 필수 항목이 비어있으면 절대 안 넘어가는데, “강아지 200마리”처럼 형식은 맞지만 내용이 이상한 값은 그대로 받아들였다.

다만 이건 지침을 고칠 문제는 아니라고 판단했다. 실제 강사가 이 GPT를 쓸 때 진짜로 “대상: 강아지 200마리”라고 입력할 상황은 거의 없기 때문이다. 세 테스트 어디에서도 형식이 무너지거나 이상한 결과물을 그냥 만들어버리는 일은 없었다 — “안 무너진다”는 목표는 충분히 확인됐다.

배운 것 / 재사용 자산

정상 경로 테스트와 예외 경로 테스트는 다른 걸 보여준다. 시나리오 6개(정상 사용)에서는 “다양한 대상에서 형식이 안 무너지는지”를 확인했다면, 이번(예외 사용)에서는 “사용자가 실수하거나 대충 넘기려 할 때도 안 무너지는지”를 확인했다. 둘 다 해야 “충분히 테스트했다”고 말할 수 있다는 걸 알게 됐다.

재사용 테스트 3종 세트 — 챗봇·GPT를 검증할 때

1. 빈 값: 아무 정보 없이 요청만 던지기
   예) "[결과물] 만들어줘."
2. 중간에 취소: 되물어보는데 성의 없이 답하기
   예) "몰라, 그냥 아무거나 대충 정해줘."
3. 엉뚱한 값: 형식은 맞지만 말이 안 되는 값 넣기
   예) 음수 시간, 존재하지 않는 대상, 빈 값이나 다름없는 텍스트

결과를 판단하는 기준: 셋 다 통과했다고 완벽한 게 아니라, “형식 오류를 잡아내는가”와 “의미가 이상한 걸 잡아내는가”를 나눠서 봐야 한다. 전자만 되고 후자가 안 되는 건 대부분의 실사용에서는 문제가 안 되지만, 그 한계를 알고 쓰는 것과 모르고 쓰는 건 다르다.