AI 조사 시킬 때 확인할 것 2026 — 막히면 대체하지 말고 보고하게 하기

빈칸으로 돌아오면 문제를 바로 알 수 있습니다. 그런데 대체된 자료로 채워져 돌아오면 겉보기에는 멀쩡합니다. 특정 계정이 실제로 올린 게시물을 확인해 달라고 했는데, 돌아온 정리본이 그 계정을 소개한 다른 글들을 모은 것이었던 경우가 있습니다. 알고 싶었던 것은 그 계정이 실제로 무엇을 올렸는지였는데, 받은 답은 남들이 그 계정을 어떻게 소개했는지였던 셈입니다. 이런 결과는 늦게 발견될수록 손해가 큽니다. 그 위에 판단을 쌓아 올린 뒤라면 그 판단까지 다시 해야 하기 때문입니다.

막히면 대체하지 말고 그 시점에 바로 알려달라는 문장을 지시에 넣어둡니다. 로그인이 필요한 작업은 사람이 직접 로그인하고, AI는 이미 열려 있는 화면만 읽게 하면 비밀번호를 어디에도 적지 않고도 조사를 이어갈 수 있습니다. 정리본만 받지 말고 어디서 가져온 자료인지 주소와 확인 날짜를 함께 요구하면, 원본을 보지 못한 항목이 목록에서 바로 드러납니다. 마지막으로 확인하지 못한 자리는 채워 넣지 말고 못 봤다고 표시하게 합니다. 비워 두는 편이 그럴듯하게 채워 넣는 것보다 낫습니다.

도구마다 잘 읽는 페이지가 다르기 때문에, 같은 페이지를 세 가지 방식으로 시도했을 때 한 도구는 껍데기만 가져오고 다른 도구는 시간 초과가 나는데 세 번째 도구에서는 몇 초 만에 정상적으로 읽히는 경우가 있습니다. 그래서 "안 읽힌다"는 보고를 받으면 자료를 포기하기 전에 도구를 한 번 바꿔보게 하는 것이 도움이 됩니다.

Anthropic이 공개한 에이전트 설계 가이드는 에이전트가 막히는 지점을 사람에게 넘기는 장치를 설계 단계에서부터 넣어두라고 안내합니다. 이 문서는 에이전트가 확인 지점이나 막힌 지점에서 사람의 피드백을 받기 위해 멈출 수 있다고 설명하며, 통제를 유지하기 위해 최대 반복 횟수 같은 중단 조건을 두는 것도 흔한 방법이라고 덧붙입니다. 조사를 시킬 때 "막히면 알려줘"라는 문장 하나를 넣는 것은 이 원칙을 대화 안에서 그대로 구현하는 방법인 셈입니다.

이 가이드가 말하는 확인 지점은 계획이 끝난 직후, 되돌리기 어려운 동작을 실행하기 직전, 같은 오류가 반복될 때처럼 미리 정해둔 자리에서 에이전트가 스스로 멈추고 사람의 판단을 기다리는 방식입니다. 조사 작업에서는 로그인 벽에 막히는 순간이 바로 이런 자리 중 하나입니다. 그 자리에서 조용히 다른 자료로 넘어가지 않고 멈추도록 미리 정해두는 것은, 이 원칙을 조사라는 구체적인 작업에 그대로 옮겨온 것뿐입니다.

이 한 줄을 넣기 전과 후의 차이는 속도가 아니라 신뢰입니다. 돌아온 결과를 매번 의심하지 않아도 되기 때문입니다. 못 본 것은 못 봤다고 적혀 있으니 나머지는 실제로 확인한 것이라는 뜻이 되고, 이 구분이 있어야 그 결과 위에 다음 판단을 안심하고 쌓을 수 있습니다. 반대로 이 구분이 없는 상태에서 받은 정리본은 그럴듯해 보일수록 더 위험합니다. 오류가 눈에 띄지 않기 때문에 걸러낼 기회 자체가 사라지기 때문입니다. 그래서 조사를 맡길 때는 결과의 양보다 무엇을 못 봤는지가 적혀 있는지를 먼저 확인하는 습관이 필요합니다. 이 습관 하나가 나중에 잘못된 판단을 되돌리는 데 드는 시간을 통째로 줄여줍니다.

AI가 알아서 대체 자료를 찾아주는 게 더 편하지 않나요?

편할 때도 있습니다. 다만 그것은 대체해도 된다고 미리 정해둔 경우의 이야기입니다. 정하지 않은 상태에서 이뤄진 대체는 결과의 성격 자체를 바꿔 버리므로, 대체를 허용할지는 조사를 시키기 전에 미리 정해두는 편이 안전합니다.

계정 정보를 AI에게 주면 더 많은 걸 볼 수 있지 않나요?

볼 수는 있지만 넘기지 않는 편이 안전합니다. 로그인만 사람이 하고 그다음 조사를 맡기면 결과는 비슷하면서 위험은 사라집니다.

막혔다는 보고를 자주 받으면 번거롭지 않나요?

초반에는 자주 나옵니다. 다만 그 목록을 보면 어디를 직접 열어줘야 하는지가 정리되고, 몇 번 지나면 오히려 왕복이 줄어듭니다. 막힌 지점이 매번 같은 곳이라면 그 부분만 미리 열어두는 식으로 절차 자체를 줄일 수도 있습니다.

AI에게는 모르면 채워 넣지 말고 말하라는 기준을 먼저 알려줍니다. 빈칸은 나중에 고칠 수 있지만 그럴듯한 오답은 찾아내기 어렵습니다. 로그인처럼 민감한 절차는 사람이 직접 맡는 편이 안전하며, 확인 지점을 미리 정해두는 습관은 조사뿐 아니라 AI에게 맡기는 다른 작업에도 그대로 적용할 수 있습니다. 자세한 원칙은 아래 공식 문서에서 확인할 수 있습니다.

• Anthropic — Building effective agents (https://www.anthropic.com/engineering/building-effective-agents, 확인일 2026-09-18)