Wiki
Evaluation
LLM 답변과 검색 품질을 배포 가능한 기준으로 반복 측정하는 체계입니다.
Definition
Evaluation은 좋고 나쁨을 감으로 판단하는 단계가 아니라, golden set, grader, faithfulness, regression gate를 이용해 변경 전후 품질을 비교하는 운영 기준입니다.
When to use
- RAG나 LLM 기능을 릴리즈 전에 회귀 테스트해야 할 때
- 답변 품질 문제를 재현 가능한 데이터와 판정 기준으로 남겨야 할 때
Related posts
LLM Evals 입문
LLM 서비스에서 일반 테스트로 잡기 어려운 답변 품질을 Evals, golden set, grader, regression test로 측정하고 배포 기준으로 연결하는 방법을 정리합니다.
RAG 답변을 믿기 전에 봐야 할 것: 검색 평가, faithfulness, 출처 표시
RAG 답변이 그럴듯해 보여도 retriever 결과, answer faithfulness, citation, source attribution을 따로 확인해야 하는 이유와 점검 흐름을 정리합니다.
AWTL: 실패 로그를 다음 실행 힌트로 바꾸기
Agent Work Trace Logging으로 action, judge result, failure attribution, failed turn case, replay scorecard를 연결해 실패를 재발 방지 힌트로 바꾸는 구조를 정리합니다.