업무를 시험으로
실제 상황과 예외를 사례로 만들고, 기대 행동과 금지 행동을 먼저 정의합니다.
한국어 업무 AI의 답변과 행동을 평가합니다.
실패의 근거를 남기고, 수정 전후를 같은 기준으로 비교합니다.
배송이 완료되어 환불이 어렵습니다.
고객님의 양해 부탁드립니다.
배송 분쟁 정책 §4.2 → 수령 여부 확인 및 조사 접수
좋은 답변처럼 보이는 것과 업무를 올바르게 수행하는 것은 다릅니다.
입력부터 판정까지, 되짚어 볼 수 있는 평가를 설계합니다.
실제 상황과 예외를 사례로 만들고, 기대 행동과 금지 행동을 먼저 정의합니다.
응답과 출처를 대조합니다. 오류의 심각도와 판단이 갈리는 지점을 기록합니다.
같은 기준으로 버전을 비교합니다. 개선과 새로 발생한 실패를 함께 확인합니다.
초기 파일럿 제안입니다.
업무 범위와 검토 난이도를 확인한 뒤 견적을 확정합니다.
업무 1개 · 평가 사례 50개 · 버전 2개 비교
기준 버전 v0.1과 수정 버전 v0.2의 사례별 판정 비교
통과는 이 사례의 정의된 기준을 충족한다는 뜻입니다. 6개 예시의 통과율을 전체 업무 성능으로 일반화할 수 없습니다. 보류는 근거가 부족해 판정을 확정하지 않은 상태이며, 통과에 포함하지 않습니다.
실제 평가에서는 모델·프롬프트·문서 버전과 실행 시각, 검토자, 의견 불일치를 기록하고 개선용 사례와 최종 검증용 사례를 분리합니다.