현장 시나리오 3개로 진짜 테스트한 하루

이 글은 이런 분께

• 커스텀 GPT를 만들었는데, “형식만 맞고 내용은 별로면 어떡하지” 걱정되는 분
• 테스트를 어떻게 설계해야 진짜 문제를 찾을 수 있는지 궁금한 분

Before — 형식만 확인했던 상태

지난 테스트에서는 청소년 진로 탐색 예시로 “개요→활동지→퀴즈 순서가 안 무너지나”만 확인했다. 오늘은 4주 실행계획 2주차 2일차대로, 실제로 현장에서 쓸 법한 상황 3개를 넣어서 내용 자체가 쓸만한지까지 본다.

테스트 계획 — 시나리오 3개

일부러 서로 다른 난이도·제약 조건을 넣어서, GPT가 조건을 무시하고 뭉뚱그리지 않는지 확인한다.

시나리오 1 — 어르신 디지털교육

대상: 어르신 12명 (평생교육원 스마트폰 활용반)
주제: 카카오톡으로 사진 보내기 실습
시간: 60분
강의 목표: 참여자가 스스로 사진을 찍어 카카오톡으로 가족에게 보낼 수 있다
난이도: 쉬움 (기기 다루기 낯선 어르신 다수)
공간·장비 제약: 컴퓨터실 아님, 각자 스마트폰 지참, 와이파이 있음

시나리오 2 — 청소년 진로

대상: 중학생 25명 (자유학기제 진로수업)
주제: 직업 카드 활동으로 나만의 강점 찾기
시간: 45분
강의 목표: 참여자가 자신의 강점과 어울리는 직업군을 카드 활동으로 스스로 골라본다
난이도: 보통
공간·장비 제약: 책상 이동 가능한 일반 교실, 프로젝터 없음 (인쇄물로만 진행)

시나리오 3 — 장애인 프로그램

대상: 발달장애인 성인 8명 (주간보호센터)
주제: 계절 인사 카드 만들기 (소근육 활동 + 감정표현)
시간: 40분
강의 목표: 참여자가 도움을 받아서라도 카드 1장을 완성해 감정을 표현한다
난이도: 낮음 (개별 지원 필요, 반복 설명 필요)
공간·장비 제약: 휠체어 이동 가능한 넓은 테이블, 별도 장비 없음

시나리오 1 결과 — 어르신 디지털교육

개요·활동지·퀴즈 3개 다 나왔고, 조건도 잘 반영됐다.

잘 된 점

• “컴퓨터실 아님, 스마트폰 지참” 조건 → 스마트폰 실습으로 자연스럽게 설계됨
• “쉬움 난이도” 조건 → “설명은 짧고 천천히, 한 번에 한 단계만” 같은 구체적 운영 팁으로 반영됨
• 사진 찍기 → 카톡 열기 → 사진 선택 → 보내기, 단계가 실제로 따라 하기 쉽게 잘게 쪼개져 있음
• 실제 화면(ChatGPT)에서는 제목·목록 계층이 잘 나뉘어 보임 (복사해서 옮기면 서식이 풀리는 것뿐, 실사용엔 문제없음)

아쉬운 점

• 시간 배분(도입10 / 전개1 15 / 전개2 25 / 마무리10)이 표가 아니라 줄글로만 나와서 한눈에 안 들어옴 → 지시문 다듬는 날 “시간 배분은 항상 표로” 규칙 추가할 재료로 메모

시나리오 2 결과 — 청소년 진로

개요·활동지·퀴즈 3개 다 나왔고, 시나리오 1보다 조건 반영이 더 명시적이었다.

잘 된 점

• “프로젝터 없음” 조건 → 유의사항에 “프로젝터가 없으므로 카드와 활동지는 글씨를 크게 인쇄한다”라고 직접 언급함
• 시간 배분(도입5 + 전개1 15 + 전개2 15 + 마무리10 = 45분) 정확히 맞음
• “직업의 정답이나 우열을 이야기하지 않는다”, “친구 의견 비판하지 않기” 등 진로수업다운 배려가 자연스럽게 들어감
• 요청하지 않은 준비물(직업카드·강점카드·A3 활동지)까지 스스로 챙겨서 제안함

아쉬운 점

• 시나리오 1과 똑같이, 시간 배분이 표가 아니라 텍스트로만 나옴 → 두 번 반복된 패턴이라 지시문 수정 1순위 후보로 확정

시나리오 3 결과 — 장애인 프로그램

셋 중 조건 반영이 가장 세심했다.

잘 된 점

• “휠체어 이동 가능한 넓은 테이블” 조건 → 유의사항에 “휠체어 이동 공간을 충분히 확보한다”로 정확히 반영
• “개별 지원·반복 설명 필요” 조건 → “같은 설명을 여러 번 반복해도 괜찮다”, “손 기능이 어려운 경우 부분 도움 제공” 등 구체적으로 반영
• 퀴즈를 서술형이 아니라 OX·말하기로 낮춰서 냈고, “말로 표현이 어려우면 그림을 가리켜도 참여로 인정한다”는 배려까지 스스로 넣음
• “완성도보다 참여 과정을 중심으로 진행한다” — 대상 특성에 딱 맞는 진행 태도까지 잡아줌

아쉬운 점

• 역시 시간 배분(도입5 + 전개1 20 + 전개2 10 + 마무리5 = 40분)이 표가 아니라 텍스트로만 나옴 — 3번 모두 반복된 패턴

배운 것 / 재사용 자산

결과 요약

• 3개 시나리오(어르신 디지털교육 / 청소년 진로 / 장애인 프로그램) 모두 개요·활동지·퀴즈 3종 세트가 빠짐없이 나왔다.
• 대상이 까다로울수록(장애인 프로그램) 오히려 조건을 더 세심하게 반영하는 경향을 확인했다. 공간·장비 제약, 난이도, 개별 지원 필요 같은 조건을 무시하거나 뭉뚱그리지 않고 유의사항·활동 설계에 실제로 녹여냈다.
• 공통으로 반복된 문제 하나: 시간 배분이 항상 텍스트 목록으로만 나오고 표로 안 나온다. 3개 시나리오 모두 같은 패턴이라, 지시문에 “시간 배분은 항상 표로 정리” 규칙을 추가하면 바로 개선될 것으로 보인다.

현장 테스트 체크리스트 (재사용 자산)

• 대상 난이도를 의도적으로 다르게 설정해서(쉬움/보통/까다로움) 테스트했나?
• 공간·장비 제약이 활동 설계에 실제로 반영됐나, 그냥 무시됐나?
• 결과에서 반복되는 아쉬운 점이 있다면 → 그게 다음 지시문 수정의 1순위 후보

재테스트 — 지시문 수정 후 시나리오 1 다시 돌려봄

원래 계획으로는 내일(3일차) 할 일이지만, 오늘 발견한 문제가 명확해서 바로 지시문을 고쳐 재테스트했다.

고친 것: “반드시 단계별 시간 배분을 포함하며”라는 문장 뒤에 “표(단계 | 소요 시간 | 진행 내용) 형식으로 정리한다”를 추가.

결과: 어르신 디지털교육 시나리오로 다시 돌렸더니 시간 배분이 표로 정확히 나왔다.

덤으로 퀴즈도 OX·객관식·단답형·실습형 4종류 + 문제마다 해설까지 붙어서 더 알차졌다. 지침 한 줄만 고쳤는데 표 문제는 해결되고, 요청하지 않은 부분(퀴즈 다양성)까지 자연스럽게 좋아진 게 흥미로웠다.

청소년 진로 시나리오로도 재테스트했다. 시간 배분이 표로(7+10+18+10=45분) 정확히 나왔고, 퀴즈 4종류+해설, “직업 우열 비교하지 않기” 배려까지 그대로 유지됐다. 지침 수정 하나로 시나리오가 바뀌어도 일관되게 적용되는 걸 확인했다.

장애인 프로그램 시나리오로도 재테스트했다. 시간 배분이 표로(5+10+20+5=40분) 정확히 나왔다. 특히 퀴즈 중 하나(“지금 내 기분과 같은 그림을 골라보세요”)를 “정답 없음(자신의 감정을 선택하면 정답)“으로 설계해서, 이 대상 특성에 맞게 퀴즈 난이도 자체를 스스로 낮춘 것이 인상적이었다.

결론: 지침에 한 줄 추가한 것만으로 3개 시나리오 전부에서 일관되게 표 형식이 적용됐다. GPT가 대상 특성에 따라 세부 표현(퀴즈 난이도, 유의사항 등)을 알아서 조정하는 능력도 다시 한번 확인했다.

다음 할 일

오늘 4주 실행계획 2주차 2일차(시나리오 테스트)와 3일차(지시문 다듬기+재테스트)를 하루에 끝냈다. 다음은 4일차 — Gamma를 처음 써보고 GPT 개요를 슬라이드로 변환하는 차례다.