난노안게 첫 화면

AI 직원이 "다 했어요"라고 할 때 그냥 믿으면 안 되는 이유

AI 직원은 일을 맡기면 꼭 끝을 내요. 결과물을 내고, 보고서를 쓰고, "다 했어요"라고 말해요. 처음에는 그 말이 참 듬직했어요.

그런데 '끝냈다'와 '제대로 했다'는 다른 말이었어요. 그걸 알게 된 날의 이야기예요.

아이콘 하나에 6번 반려

10월 27일, 사주볼고양 사이트에 쓸 아이콘을 맡겼어요. 조건은 하나였어요. 고양이 얼굴 모양 안에 '사주볼고양?' 글자를 겹쳐 넣는 것.

직원들은 회의를 열어 아이디어를 모으고, 그림 지시서를 쓰고, 그림 담당 그리미에게 넘겼어요. 그리미는 그림을 냈어요. 고양이 얼굴은 예뻤어요. 짝눈도, 파란 리본도 있었어요. 그런데 글자가 없었어요.

반려했어요. 다시 냈어요. 또 글자가 없었어요. 그렇게 6번이 연속으로 반려됐어요.

진짜 원인은 직원이 아니었어요

기록을 뒤져 보니 원인은 그리미의 실력이 아니었어요.

그리미 입장에서는 시킨 대로 했어요. 서로 다른 두 지시 중 하나를 지켰고, 그래서 매번 "다 했어요"였던 거예요.

여기서 배운 게 있어요. AI가 "다 했어요"라고 할 때, 그건 거짓말이 아니라 자기가 이해한 일을 끝냈다는 뜻이에요. 그 이해가 내가 원한 것과 같은지는 따로 확인해야 해요.

그날 바꾼 것들

완료 기준을 먼저 정해요

이제는 일을 받자마자 나총괄이 제 지시에서 합격 기준을 3~5개 뽑아서 보여 줘요. 아이콘이라면 이런 식이에요.

  1. 고양이 얼굴 모양 안에 '사주볼고양?' 글자가 있다
  2. 작게 줄여도 알아볼 수 있다
  3. 배경이 투명하다

일을 시작하기 전에 '끝'이 어떤 모양인지 먼저 정하는 거예요.

검수는 O/X로만 해요

검수할 때 "전체적으로 괜찮네요" 같은 말은 쓰지 않아요. 기준마다 O인지 X인지만 적어요. 하나라도 X면 통과가 아니에요. 6번 반려의 기록에는 '핵심 조건이 빠졌는데 부분 충족으로 넘어가기'가 다시 쓰지 말 것으로 남아 있어요.

같은 방법을 세 번 쓰지 않아요

반려할 때는 "다음엔 무엇을 바꿀지"를 꼭 정해요. 같은 이유로 또 떨어지거나 두 번 고쳐도 안 되면, 직원은 거기서 멈추고 저에게 선택지를 들고 와요. 6번째까지 같은 지시를 보내는 일은 이제 없어요.

그림에는 참고 그림을 같이 보내요

캐릭터 그림이 담긴 '참고 그림 서랍'을 만들었어요. 그림 일을 맡길 때 그리미에게 함께 보내요. 문제의 고정 규칙은 지웠어요.

"했어요"는 증거가 아니에요

며칠 뒤 한 가지를 더 붙였어요. 검수하는 나총괄은 기준을 통과시킬 때마다 결과물에서 그 근거를 직접 짚어야 해요. "2번 기준: 3줄째 문장"처럼요. 짚을 곳이 없으면 그 기준은 '확인 못 함'으로 떨어져요.

담당 직원이 "했어요"라고 쓴 건 증거로 치지 않아요. 결과물 안에 있어야 증거예요.

성공은 제가 정해요

그래도 마지막 한 단계가 남아요. 검수를 통과했다고 '성공'이 아니에요.

보고를 받으면 제가 👍 좋아요, 😐 아쉬워요, 👎 별로 중 하나를 눌러요. 그게 그대로 성공, 부분 성공, 실패로 기록돼요. 제가 누르지 않으면 기록도 남지 않아요.

실제로 이런 일이 있었어요. 11월 3일, 소셜리가 쓴 쓰레드 글이 "3~6줄, 80~200자"라는 기준을 모두 지켰어요. 검수도 통과했어요. 그런데 읽어 보니 길게 느껴졌어요. 그래서 😐를 누르고 "글이 너무 길어"라고 남겼어요. 그 일은 '부분 성공'으로 기록됐고, 다음 글을 쓸 때 "기준을 지켜도 길다는 평가를 받을 수 있다"는 메모가 함께 전달돼요.

기준은 제가 미리 생각한 만큼만 지켜 줘요. 미리 생각하지 못한 부분은 결국 사람이 보고 정해야 해요.

정리하면

게으른 사람에게는 이게 오히려 편해요. 결과물을 처음부터 끝까지 다 뜯어보지 않아도, O/X 표와 근거만 보면 되거든요.

다음 글에서는 이렇게 남긴 기록이 어떻게 다음 일에 쓰이는지, 같은 실수를 두 번 하지 않게 만드는 방법을 적어 볼게요.

소식 목록으로