목요일 미니 프로젝트: 어떤 모델이 나한테 맞는지 재보는 40여 줄 스크립트

# 같은 일을 모델마다 시켜 비교해요
import json, shutil, subprocess
import tempfile, time
 
TASK = "할 일을 여기에 적어요"
MODELS = [
    "claude-opus-5-5",
    "claude-opus-5",
]
RUNS = 2
RATE = 1400
SKIP = shutil.ignore_patterns(
    "node_modules", ".venv")
 
def run(model):
    # 복사본에서 돌려 원본은 그대로
    dst = tempfile.mkdtemp() + "/p"
    shutil.copytree(".", dst,
                    ignore=SKIP)
    t0 = time.time()
    out = subprocess.run(
        ["claude", "-p", TASK,
         "--model", model,
         "--permission-mode",
         "acceptEdits",
         "--output-format", "json"],
        cwd=dst, capture_output=True,
        stdin=subprocess.DEVNULL,
        text=True)
    r = json.loads(out.stdout)
    secs = time.time() - t0
    won = r["total_cost_usd"] * RATE
    turns = r["num_turns"]
    return won, turns, secs, dst
 
for m in MODELS:
    for i in range(RUNS):
        won, turns, secs, d = run(m)
        print(f"{m} {i+1}회")
        print(f"  {won:,.0f}원어치")
        print(f"  {turns}번 주고받음")
        print(f"  {secs:.0f}초")
        print(f"  결과: {d}")

python3 compare.py

claude-opus-5-5 1회
  142원어치
  4번 주고받음
  14초
  결과: /tmp/tmpptjp546i/p
claude-opus-5-5 2회
  134원어치
  4번 주고받음
  11초
  결과: /tmp/tmpnt8mdedb/p
claude-opus-5 1회
  295원어치
  6번 주고받음
  35초
  결과: /tmp/tmprm4yw2zg/p
claude-opus-5 2회
  223원어치
  4번 주고받음
  19초
  결과: /tmp/tmp5ciox930/p