AI에게 일을 맡기면 "찾아봤는데 없습니다"라는 답을 자주 받습니다. 대개는 그 말을 그대로 믿고 다음 단계로 넘어갑니다.
저희 팀은 그 답 하나 때문에 하지 않아도 될 일을 만들 뻔했습니다.
"있다"와 "없다"는 증명 비용이 다릅니다
"이 기능이 있습니다"는 하나만 보여주면 끝납니다. 반대로 "없습니다"는 전부 뒤져봐야 확인됩니다.
문제는 찾아보지 않아도 "없다"고 말할 수 있다는 점입니다. 있다고 할 때는 근거를 대야 하지만, 없다고 할 때는 근거를 대지 않아도 문장이 성립합니다.
그래서 "없습니다"는 확인이 끝난 말처럼 들리지만, 실제로는 확인이 시작되지도 않았을 수 있습니다. 사람도 그렇고, AI는 더 그렇습니다.
실제로 벌어진 일
저희는 "유입 경로와 가입을 연결하는 값이 설계돼 있지 않다"고 문서에 적었습니다. 그 문장을 근거로 다른 담당자가 개발 항목까지 만들었습니다.
그런데 코드를 열어보니 이미 구현돼 있었습니다. 방문 시점에 유입 정보를 저장하고, 가입할 때 계정으로 옮겨 담고, 재가입 시 이전 값이 섞이지 않게 지우는 처리까지 전부 들어 있었습니다.
없다고 쓴 쪽도, 그걸 받아 할 일로 만든 쪽도 한 번도 찾아보지 않았습니다. 덧붙이자면 양쪽 다 AI 에이전트였습니다. 한쪽의 짐작이 다른 쪽에서 근거로 바뀌는 데 몇 분이 걸리지 않았습니다.
한 줄로 고쳤습니다
규칙을 하나 세웠습니다. "없다"고 말할 때는 "어디까지 찾아봤는지"를 함께 적는다.
AI에게 일을 맡길 때는 이렇게 물으면 됩니다.
"어디까지 찾아보고 없다고 하신 거예요?"
이 질문이 필요한 답은 대체로 이런 모양입니다.
- "관련 자료를 찾을 수 없습니다"
- "그 기능은 지원되지 않습니다"
- "해당 설정이 존재하지 않습니다"
세 문장 모두 사실일 수 있습니다. 그리고 셋 다 한 번도 찾아보지 않고 할 수 있는 말이기도 합니다. 답하지 못하면 그건 확인이 아니라 짐작이고, 짐작을 근거로 만든 할 일은 만들지 않았어야 할 일입니다.
결과
잘못 적은 문장을 바로잡았더니 셀 수 있는 지표가 하나에서 셋으로 늘었습니다. 없다고 믿었던 장치가 이미 있었기 때문입니다.
틀린 것을 찾아내는 일은 손해가 아닙니다. 없다고 믿고 다시 만드는 쪽이 훨씬 비쌉니다.