에이전트 평가(Agent Evaluation)는 채점표를 들고 하는 시험 채점 같은 것 — AI 에이전트의 결과물을 미리 정한 기준(루브릭)으로 점수화해 어떤 방법이 더 나은지 비교하는 과정이에요.
에이전트 평가는 요리 대회 심사와 비슷해요. 심사위원이 맛, 모양, 창의성처럼 항목별 채점표(루브릭)를 들고 있어야 두 요리 중 무엇이 나은지 공정하게 고를 수 있죠. AI 에이전트도 '이번 결과가 저번보다 좋아졌나'를 감으로 판단하면 흔들리기 쉬워서, 무엇이 좋은 결과인지 점수로 매기는 기준을 먼저 만들어요.
강의에서는 스스로 개선되는 에이전트를 만들면서 학습 DB 안에 평가(Evaluation) 테이블을 둬요. 피드백, 결과, 정책(Policies) 테이블과 함께 개선안끼리 비교한 내용과 평가 결과를 기록하고, 점수가 좋은 개선안만 '승격'해서 실제 작업 규칙에 반영해요. 이를 위해 목표별로 무엇이 좋은 결과인지 점수화한 기준이 있어야 한다고 강조하고, 평가표 설계부터 비교 실험까지 자동으로 이어지게 구축하라고 에이전트에게 지시해요.
초보가 루브릭을 만들 때 흔한 실수는 '좋다', '자연스럽다'처럼 사람마다 다르게 읽히는 항목만 넣는 거예요. '첫 문장에 핵심 정보가 있다(0/1)', '사실 오류가 없다(0/1)', '조회수 상위 30% 안에 든다'처럼 확인 가능한 항목으로 나누면 AI도 일관되게 채점할 수 있어요. 또 AI가 AI를 채점하면 후하게 줄 수 있으니, 처음 몇 번은 사람이 같이 채점해 기준이 맞는지 맞춰 보는 게 좋아요.
AI 에이전트를 직접 만들고 24시간 운영하는 법을 단계별 강의로 배워보세요.