컨텍스트 엔지니어링으로 구축하는 AI 에이전트

 

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.

 

최근 회사에서 AI 활용을 적극적으로 지원해줌에 따라 어떻게 써야 실무에 도움이 될지 꽤 자주 이야기를 나누고 있습니다. 그러다 한 번은 한 시니어 개발자분이 “어차피 바이브코딩으로 하면 되는데 스킬이나 룰이 왜 필요한지 잘 모르겠다”, “토큰이 부족하다고 느껴본 적이 없는데 왜 토큰을 아껴야 하나?”는 말을 했습니다. 이에 대해 반박하고 싶었지만, 막상 그 자리에서는 설득의 언어가 바로 나오지 않았습니다. 회의가 끝난 뒤에도 그 말이 계속 기억에 남아 이것저것 찾아보던 중 컨텍스트 엔지니어링이라는 개념을 알게 되었고, 이 책을 신청했습니다.

 

읽으면서 제일 먼저 정리된 것은 제가 그동안 프롬프트를 잘 쓰는 쪽에만 기대고 있었다는 점이었습니다. 질문을 정교하게 만들면 답이 좋아질 것이라 생각했지만, 실무에서는 그것만으로는 부족했습니다. AI가 답을 잘하려면 질문보다 참고해야 할 맥락이 먼저 들어가야 했습니다. 업무 용어, 정책, 데이터 정의, 성공 기준 같은 정보가 비어 있으면 답은 금방 원론으로 흐릅니다. 반대로 맥락이 제대로 들어가면 같은 질문도 훨씬 구체적으로 내려옵니다. 책에서 프롬프트 엔지니어링과 컨텍스트 엔지니어링을 비교해 설명하는 부분이 있는데, 그 내용을 보고 나서야 회의에서 답답했던 이유가 정리되었습니다. 결국 질문의 문제가 아니라 맥락의 문제였습니다.

 

토큰에 대해서도 시선이 바뀌었습니다. 토큰을 비용으로만 보면 왜 아껴야 하는지 잘 와닿지 않았습니다. 그런데 토큰을 컨텍스트를 담는 공간으로 보면 이야기가 달라집니다. 무턱대고 길게 넣는다고 좋은 것이 아니라, 중요한 정보가 묻히면 오히려 답이 흔들릴 수 있었습니다. 대화가 길어질수록 앞뒤가 엇갈리거나 근거 없는 말을 섞는 문제도 결국 컨텍스트 관리 실패에 가깝다고 느꼈습니다. 부족하냐 아니냐보다, 제한된 공간 안에서 무엇을 얼마나 정확하게 유지하느냐가 더 핵심이었습니다.

 

또 좋았던 점은 에이전트를 말 잘하는 챗봇으로 두지 않고, 구성 요소가 있는 시스템으로 보게 해준다는 점이었습니다. 무엇을 기억시키고, 어떤 도구를 붙이고, 어떤 흐름으로 일을 시키는지를 나눠서 생각하게 해주었습니다. 이 관점이 생기니 스킬이나 룰이 왜 필요하냐는 질문에도 답이 쉬워졌습니다. 바이브코딩은 개인이 빠르게 무언가를 해볼 때는 가능하지만, 팀 단위로 쓰려면 결과가 들쭉날쭉하면 안 되고 누구나 비슷하게 재현 가능해야 했습니다. 그 재현성을 가능하게 만드는 것이 컨텍스트와 룰이고, 스킬은 그것을 실행 가능하게 만드는 장치에 가깝다고 느꼈습니다.

 

그래서 다음에 비슷한 이야기가 나오면 프롬프트를 잘 쓰면 된다는 수준이 아니라, 어떤 맥락을 어떤 형태로 넣어야 결과가 안정적으로 나오는지 설명할 수 있을 것 같습니다. 이 책은 왜 굳이 컨텍스트를 설계해야 하는지, 왜 스킬과 룰이 필요한지 같은 질문을 실제로 마주친 분들께 특히 잘 맞는 책이라고 느꼈습니다.