시나리오 6개로 검증했더니, 요청 안 한 배려가 매번 나왔다

이 글은 이런 분께

• 커스텀 GPT를 만들었는데 “다양한 상황에서도 안 무너질까” 걱정되는 분
• 사회복지·평생교육처럼 취약한 대상을 다루는 AI 도구를 만들 때, 뭘 점검해야 할지 궁금한 분
• 테스트를 몇 번 해야 충분한지 감이 안 잡히는 분

Before — 3개로는 부족했다

2주차에서 어르신·청소년·장애인 3개 시나리오로 테스트했었다. 하지만 완성 기준을 “5~7개 시나리오 검증”으로 정했으니, 아직 안 다뤄본 대상·주제로 최소 5개는 더 필요했다. 마감(목요일)까지 4일 남은 상태에서, 최대한 겹치지 않게 6개를 골랐다.

어떻게 — 시나리오 6개, 일부러 다르게

PRD 입력 6항목(대상·주제·시간·목표·난이도·공간장비)을 조합해서, 난이도와 공간·장비 제약을 의도적으로 다르게 섞었다.

각 시나리오는 GPT “미리보기” 대신 일반 채팅으로 돌렸다(미리보기 대화는 저장이 안 되니까). 결과를 그대로 복사해서 기록했다.

막힘 → 해결: 실수로 같은 시나리오를 두 번 돌렸다

시나리오 1을 실수로 한 번 더 돌리고 나서야 알아챘다. “이거 다시 해야 하나” 걱정했는데, 오히려 좋은 부산물이 나왔다 — 같은 입력을 두 번 넣었더니 시간 배분·형식·조건 반영이 거의 동일하게 나왔다. 매 시나리오마다 반복 테스트할 필요는 없다고 판단하고, 남은 시간은 새로운 시나리오를 넓히는 데 썼다.

After — 결과 6/6, 그리고 발견한 패턴

형식은 한 번도 안 무너졌다

6개 전부 개요·활동지·퀴즈 3종이 빠짐없이 나왔고, 시간 배분도 표로 정확히 합이 맞았다(예: 5+10+15+8+8+4=50분). 2주차에 고친 지침(“시간 배분은 표로”)이 이번에도 그대로 작동했다.

제일 까다로운 제약(태블릿 1대)도 풀어냈다

시나리오 5(자활센터)는 참여자 12명에 태블릿이 1대뿐이었다. GPT는 이걸 “종이 카드로 먼저 전체가 순서를 익히고, 태블릿은 한 명씩 돌아가며 쓰되 기다리는 사람도 활동지로 같은 순서를 따라가게” 설계했다. 요청하지 않은 디테일까지 스스로 짚어낸 사례였다.

요청 안 한 배려가 6개 전부에서 나왔다 (제일 흥미로운 발견)

시나리오마다 표현은 달랐지만, 매번 안전이나 존엄을 지키는 문구가 지침에 없는데도 스스로 추가됐다.

지침 어디에도 “안전 문구를 넣어라”는 내용은 없었다. 그런데도 대상의 취약성(어학 수준, 경제 상황, 나이, 가족 배경)에 맞춰 매번 다른 형태로 이런 배려가 나왔다. 사회복지·평생교육 현장에서 쓸 도구라는 점을 생각하면, 형식이 안 무너지는 것보다 어쩌면 이게 더 중요한 발견이었다.

배운 것 / 재사용 자산

결론: 6개 시나리오 전부 문제없이 통과해서, 완성 기준의 “5~7개 시나리오 검증”을 채웠다. 지침을 더 고칠 것도 딱히 없었다 — 3주차 계획에 있던 “문제 패턴 찾아 지침 수정” 단계를 건너뛰고 바로 다음 단계(샘플 확정)로 넘어갈 수 있었다.

샘플로 고른 3개: 6개 중 가장 대표성 있는 3개를 다음 기준으로 골랐다.

1. 경력단절여성(시나리오 2) — AI를 비판 없이 베끼지 않고 검증하며 쓰는 법까지 가르침, 포트폴리오 주제(AI 리터러시)와 제일 직접 연결됨
2. 자활센터(시나리오 5) — 제일 까다로운 물리적 제약(태블릿 1대)을 창의적으로 풀어냄
3. 다문화가정 청소년(시나리오 6) — 제일 예민한 주제를 제일 세심하게 다룸

재사용 체크리스트 — 취약 대상용 AI 도구를 테스트할 때

• 대상의 취약성(언어·경제·나이·배경)이 다른 시나리오를 최소 5개 이상 섞었나?
• 제일 까다로운 물리적 제약(장비 부족 등)을 일부러 하나는 넣었나?
• 결과에서 요청하지 않은 안전·존엄 배려가 나오는지 확인했나? (나온다면 그 자체가 도구의 신뢰도를 보여주는 신호)
• 같은 시나리오를 반복 테스트하기보다, 다양성을 넓히는 데 남은 시간을 썼나?