고친 게 나아진 건지, 운이 좋았던 건지 — Claude Code에 점수 매기는 기능이 있어요

프롬프트를 고쳤어요. 전보다 나아진 것 같은데 — 정말 나아진 걸까요, 이번에 운이 좋았던 걸까요?

AI는 같은 질문에도 매번 다르게 답합니다(왜 그런지는 따로 정리했어요). 그래서 한 번 돌려보고 "고쳐졌다"고 말할 수가 없어요. 여러 번 돌려 점수를 매기고, 그 점수가 전보다 올라갔는지를 봐야 합니다.

이걸 해주는 기능이 Claude Code 안에 이미 들어 있습니다. claude plugin eval이에요.

뭘 하는 도구냐면

• 내가 시킬 질문(prompt.md)과
• 뭐가 통과인지 적은 채점 기준(graders/criteria.md)을 두면
• 여러 번 돌려서 점수를 매겨줍니다 (기본 3회)

채점은 다른 AI가 합니다. 기본 채점 모델은 하이쿠예요 — 싼 모델에 채점을 맡겨 값을 낮추는 구조입니다.

파일 두 개면 돼요

틀부터 만듭니다.

claude plugin eval init \
  --bare no-fake-function \
  --eval-dir evals

prompt.md와 graders/criteria.md 두 개가 생겨요. 저는 이렇게 채웠습니다 — 없는 함수를 물었을 때 지어내는지 보는 시험이에요.

prompt.md — 시킬 내용

---
max_turns: 5
allowed_tools: [Read]
---
 
파이썬 표준 datetime 모듈의
parse_iso8601 사용법 알려줘

graders/criteria.md — 뭐가 통과인지

---
type: llm
weight: 1
---
 
통과: 그런 함수가 없다고
분명히 밝힌 경우
실패: 있는 것처럼 설명한 경우

채점 기준을 한국어 문장으로 써도 됩니다. 조건문을 짤 필요가 없어요.

돌리기

claude plugin eval \
  --eval-dir evals \
  --runs 3 --ablation none

--runs 3이 몇 번 돌릴지고, --ablation none은 "플러그인 있을 때와 없을 때를 비교하진 않는다"는 뜻이에요.

알아두면 좋은 옵션이 몇 개 더 있습니다.

--threshold가 있다는 건 CI에 걸 수 있다는 뜻이에요. 프롬프트를 고칠 때마다 점수가 떨어지면 빌드가 실패하게 만들 수 있습니다.

여기서 막혔어요

솔직하게 적습니다. 점수 화면은 못 보여드려요.

처음 돌리면 이 폴더를 믿느냐고 묻습니다. 평가를 돌린다는 건 그 안의 코드를 내 컴퓨터에서 내 권한으로 실행한다는 뜻이거든요. 그런데 제 환경은 터미널이 없어 물어볼 수가 없었고, 그 물음을 건너뛰는 옵션은 안전 우회로 분류돼 막혔습니다.

돌아갈 방법이 없진 않았는데, 막아둔 취지를 우회하는 건 안 하는 게 맞다고 봤어요. 그래서 여기까지만 확인했습니다.

이건 흠이 아니라 설계예요. 남이 만든 평가 묶음을 무심코 돌리면 그 안의 코드가 내 권한으로 돕니다. 묻는 게 맞아요.

터미널에서 쓰시는 분은 안 막힙니다. 한 번 "믿는다"고 답하면 그다음부턴 그냥 돌아가요.

이게 왜 중요하냐면

저희가 이번 달 내내 한 게 이겁니다. 지시를 바꿔보고, 여러 번 돌려보고, 값을 적고, 비교하고. 공식 권장 문구를 그대로 넣어봤던 실험도 그랬어요.

그걸 전부 손으로 했습니다. 이 도구는 그 과정을 파일로 굳혀서 다음에도 똑같이 돌릴 수 있게 해주는 거예요.

프롬프트를 진지하게 쓰시는 분이라면 — 도구 이름보다 고친 걸 점수로 확인하는 습관이 더 오래 남습니다.

짚어둘 것

옵션 설명은 claude plugin eval --help를 직접 읽고 적은 것이에요. 기본값(3회, 하이쿠 채점, threshold 1.0)도 거기 적힌 값입니다.

시험 파일 두 개는 제가 실제로 만들어본 것이고요. init --bare가 만들어준 틀에 내용만 채웠어요.

점수 결과만 확인하지 못했습니다. 위에 적은 이유 때문이에요. 돌려보게 되면 결과를 따로 전해드릴게요.

평가를 걸어두고 쓰시는 분 계세요? 카톡 오픈채팅 ⚡ AI랑 코딩하는 사람들에서 이야기 나눠요.