AI Agent 사업을 하다 보면 한 가지 질문이 생깁니다. 같은 LLM에 같은 시스템 프롬프트를 넣고 같은 구조로 만든 Agent를 두 고객사에 납품하면, 1년 뒤에도 둘은 같은 Agent일까요? 얼마 전까지만 해도 저는 당연히 같다고 생각했습니다. 그런데 최근 공개된 연구와 사건들을 찾아보니 다시 생각해야 한다는 점을 깨닫게 되었습니다. 구글 딥마인드 실험에서는 같은 금지 규칙을 받은 Agent 100개가 부정행위에 가담하는 쪽과 이를 내부 고발하는 쪽으로 나뉘었습니다. 오픈AI 내부 평가에서는 서로 연락하지 못하게 막아둔 Agent들이 다른 통신 경로를 찾아 정보를 주고받았습니다. 다른 연구에서는 Agent가 자주 보는 기록을 따라 행동하는 경향이 나타났고, 메모리에 저장된 경험이 이후 도구 사용 방식까지 바꾸는 현상도 관찰됐습니다. 즉 같은 모델이라도 메모리, 운영 환경, 사람의 피드백, 다른 Agent가 남긴 기록에 따라 행동이 달라질 수 있다는 점입니다. 그렇다면 B2B Agent 사업도 배포에서 끝나면 안 됩니다. 어떤 Agent가 어디에서 일하고 있는지, 처음과 지금이 어떻게 달라졌는지, 그리고 아무리 행동이 달라져도 넘어서는 안 되는 권한의 경계를 누가 지킬지 관리해야 합니다. 이 과정에서 FDE와는 조금 다른 역할도 필요해 보였습니다. 저는 이를 ‘Agent Steward’라고 부르고 글에서 정리해봤습니다. https://aleph.ai.kr/s/k/u0