AI 분류가 들쑥날쑥할 때, 애매한 경우는 규칙 한 줄로 못 박으세요

AI에게 리뷰나 문의를 분류시키면 대부분은 잘해요. 그런데 "좋기도 하고 아쉽기도 한" 문장에서 자꾸 답이 흔들려요. 모델을 바꾸면 더 갈리고요. 이걸 프롬프트 한 줄로 얼마나 잡을 수 있는지 직접 재봤어요.

이렇게 해봤어요

장단점이 섞인 쇼핑몰 리뷰 6개를 준비했어요.

• 배송은 늦었지만 물건은 마음에 들어요
• 디자인은 예쁜데 금방 보풀이 생겨요
• 가격이 싸서 샀는데 딱 그 정도예요
• 맛은 좋은데 양이 너무 적어요
• 처음엔 별로였는데 쓰다 보니 괜찮네요
• 색은 사진과 다르지만 그래도 쓸 만해요

제 기준은 "섞이면 중립"이에요. 그리고 Claude Code에서 Haiku 5.5, Sonnet 5.5, Haiku 4.5에게 긍정·부정·중립으로 나누게 했어요. 프롬프트를 네 가지로 바꿔가며, 모델마다 3번씩 돌렸어요.

결과: 애매한 규칙은 오히려 더 갈렸어요

• 규칙 없음: 54개 답 중 19개만 제 기준과 같았어요. 모델들은 문장 끝 분위기를 따라가서 "그래도 쓸 만해요"는 긍정, "양이 너무 적어요"는 부정으로 봤어요
• 애매한 규칙: "다시 살 마음이 드러나면 긍정"이라고 넣었더니 25개로 조금 늘었지만, 모델끼리는 더 갈렸어요. "마음에 들어요"가 다시 살 마음인지부터 해석이 달랐어요
• 분명한 규칙: "좋은 점과 나쁜 점이 함께 나오면 무조건 중립"이라고 쓰자 50개가 맞았어요
• 분명한 규칙 + 예시 2개: 51개로 가장 높았어요. Sonnet 5.5와 Haiku 4.5는 18개 모두 맞았어요

끝까지 남은 건 Haiku 5.5의 "처음엔 별로였는데 쓰다 보니 괜찮네요"였어요. 예시를 넣어도 3번 다 긍정이었어요. 시간이 지나 생각이 바뀐 문장이라, "함께 나온다"에 들어가는지 모델 입장에서도 애매했던 것 같아요.

그대로 쓰세요

애매한 경우를 판단 기준이 아니라 결과로 적는 게 핵심이에요.

이렇게 쓰면 갈려요.

규칙: 좋은 점과 나쁜 점이
섞이면, 다시 살 마음이
드러나는지로 판단해.

이렇게 쓰면 맞춰져요.

규칙: 좋은 점과 나쁜 점이
한 리뷰에 함께 나오면
무조건 중립이야.
예시) "향은 좋은데
오래 안 가요" → 중립

남은 애매한 문장도 잡고 싶으면, 그 문장과 비슷한 예시를 한 줄 더 넣으면 돼요. "처음엔 별로였는데 좋아졌다"도 중립이라고 적는 식이에요.

정리

• 모델이 갈리는 건 대개 사람도 갈릴 문장이에요. 모델 탓보다 기준이 비어 있는 거예요
• 규칙은 "무엇으로 판단해"보다 "이러면 무조건 이거"가 잘 먹혀요
• 예시 2개면 충분했어요. 작은 모델일수록 예시가 도움이 됐어요
• 프롬프트를 바꿨다면 점수로 재보세요. 이번처럼 몇 번 돌려 맞은 개수만 세도 차이가 보여요

짚어둘 것

• 리뷰 6개, 모델당 3번의 작은 실험이에요. 다른 문장이나 다른 분류에서는 결과가 다를 수 있어요
• "맞은 답"은 제가 정한 기준과 같은지를 센 거예요. 기준 자체가 정답이라는 뜻은 아니에요
• 10월 9일 Claude Code 2.1.293에서 쟀어요

비슷한 일로 프롬프트를 고쳐본 경험 있으세요? 카톡 오픈채팅 ⚡ AI랑 코딩하는 사람들에서 이야기 나눠요.