AI 에이전트 →

에이전트 평가(Evaluation)Agent Evaluation

에이전트 평가(Agent Evaluation)는 채점표를 들고 하는 시험 채점 같은 것 — AI 에이전트의 결과물을 미리 정한 기준(루브릭)으로 점수화해 어떤 방법이 더 나은지 비교하는 과정이에요.

에이전트 평가는 요리 대회 심사와 비슷해요. 심사위원이 맛, 모양, 창의성처럼 항목별 채점표(루브릭)를 들고 있어야 두 요리 중 무엇이 나은지 공정하게 고를 수 있죠. AI 에이전트도 '이번 결과가 저번보다 좋아졌나'를 감으로 판단하면 흔들리기 쉬워서, 무엇이 좋은 결과인지 점수로 매기는 기준을 먼저 만들어요.

강의에서는 스스로 개선되는 에이전트를 만들면서 학습 DB 안에 평가(Evaluation) 테이블을 둬요. 피드백, 결과, 정책(Policies) 테이블과 함께 개선안끼리 비교한 내용과 평가 결과를 기록하고, 점수가 좋은 개선안만 '승격'해서 실제 작업 규칙에 반영해요. 이를 위해 목표별로 무엇이 좋은 결과인지 점수화한 기준이 있어야 한다고 강조하고, 평가표 설계부터 비교 실험까지 자동으로 이어지게 구축하라고 에이전트에게 지시해요.

초보가 루브릭을 만들 때 흔한 실수는 '좋다', '자연스럽다'처럼 사람마다 다르게 읽히는 항목만 넣는 거예요. '첫 문장에 핵심 정보가 있다(0/1)', '사실 오류가 없다(0/1)', '조회수 상위 30% 안에 든다'처럼 확인 가능한 항목으로 나누면 AI도 일관되게 채점할 수 있어요. 또 AI가 AI를 채점하면 후하게 줄 수 있으니, 처음 몇 번은 사람이 같이 채점해 기준이 맞는지 맞춰 보는 게 좋아요.

💡 대표 예시

  • 루브릭 작성 — 댓글 초안을 정보성·말투·길이 항목으로 점수화하는 표를 만든다
  • 개선안 비교 — 두 프롬프트로 만든 결과를 같은 기준으로 채점해 고른다
  • 학습 DB — 평가 결과를 Evaluation 테이블에 남기고 우수안만 승격한다
  • 자동화 — 평가표 설계부터 비교 실험까지 이어서 돌리도록 지시한다
  • 기준 맞추기 — 처음 10건은 사람과 AI가 같이 채점해 차이를 확인한다

🔗 관련 용어

A/B 테스트(비교 실험)

A/B 테스트(A/B test)는 같은 가게에 간판 두 개를 번갈아 걸어 보고 손님이 더 많이 들어온 쪽을 고르는 것 — 두 가지 이상 버전을 실제 사용자에게 보여 주고 성과가 더 좋은 쪽을 데이터로 고르는 비교 실험이에요.

데이터베이스

데이터베이스 (Database)는 엑셀 파일 묶음 같은 것 — 사이트에서 생기는 모든 정보를 빠짐없이 저장하고, 필요할 때 바로 꺼내 쓸 수 있도록 정리해 두는 창고.

팩트 체크

팩트 체크(Fact Check)는 출고 전 검품 같은 것 — AI나 사람이 쓴 글의 사실·숫자·출처가 맞는지 게시 전에 확인하는 과정이에요.

피드백 루프

피드백 루프(Feedback Loop)는 오답 노트 같은 것 — 결과에 대한 승인·반려·수정 기록을 다시 다음 작업의 기준으로 돌려넣어, 할수록 점점 나아지게 만드는 순환 구조예요.

루프 엔지니어링

루프 엔지니어링(Loop Engineering)은 합격선이 있는 반복 연습 같은 것 — AI에게 목표와 성공 조건을 주고 실행·검증·기록을 조건을 채울 때까지 되풀이시키는 작업 설계 방식이에요.

자가 학습 에이전트(자기 개선 에이전트)

자가 학습 에이전트(Self-improving Agent)는 오답 노트로 실력을 키우는 학생 같은 것 — 작업 결과와 사람의 피드백을 쌓아 두고 다음 작업을 스스로 더 낫게 바꾸는 AI 에이전트예요.

이 개념, 직접 적용해볼까요?

AI 에이전트를 직접 만들고 24시간 운영하는 법을 단계별 강의로 배워보세요.