gwanhun1
AI 모델 가격이 내려가고 있습니다. 그런데 AI 제품을 만드는 팀의 비용 고민은 오히려 커지고 있습니다.
이유는 간단합니다. 챗봇은 질문 하나에 답 하나를 생성하지만, 에이전트는 목표를 이해하고 계획을 세우고 도구를 호출한 뒤 결과를 확인합니다. 필요하면 다시 질문하고, 실패하면 재시도하고, 여러 모델이나 다른 에이전트에 작업을 나눕니다. 모델 한 번의 가격은 낮아져도, 하나의 업무를 끝내기 위해 발생하는 호출 수와 토큰 수가 훨씬 커지는 구조입니다.
Gartner는 2026년 8월 17일 발표에서 에이전틱 AI 워크플로우당 추론 비용이 2028년까지 5배 이상 증가할 수 있다고 전망했습니다. 모델 단가가 내려가는 속도보다 AI 제품의 복잡도가 더 빠르게 커지는 ‘추론의 역설(Inference Paradox)’입니다.
챗봇과 에이전트의 비용 구조는 다르다
단순한 챗봇 요청을 생각해 보겠습니다.
1사용자 질문 → 모델 호출 → 답변
에이전트가 같은 질문을 처리하면 흐름이 달라집니다.
1 2 3 4 5 6 7사용자 목표 ↓ 의도 분류 → 계획 수립 → 검색·API·파일 도구 호출 ↓ ↓ 중간 결과 확인 ← 재시도·추가 질문 ↓ 최종 답변 + 근거 + 안전성 검사
모델 호출이 1회에서 5~10회로 늘어날 수 있고, 매 단계마다 대화 기록·도구 결과·검색 문서가 컨텍스트에 들어갑니다. 여기에 긴 추론 모델, 병렬 에이전트, 실패 복구, 사람 승인까지 추가되면 “토큰당 가격”만으로는 전체 비용을 설명하기 어렵습니다.
가격이 내려가도 총비용이 오르는 ‘추론의 역설’
AI 제품의 총비용은 대략 다음처럼 생각할 수 있습니다.
1 2 3총 추론 비용 = 요청 수 × (모델 호출 횟수 × 호출당 토큰 비용) + 검색·도구·메모리·검증·재시도 비용
더 좋은 모델이 등장하면 한 번에 해결할 수 있는 업무가 늘어나는 것처럼 보입니다. 하지만 제품팀은 그만큼 더 복잡한 업무를 자동화하려고 합니다. 단순 요약에서 끝나지 않고, 문서를 찾고, 숫자를 비교하고, 시스템을 수정하고, 결과를 검증하는 식입니다. AI가 싸지고 빨라질수록 더 많은 단계가 제품 안으로 들어오는 셈입니다.
Gartner는 단순 챗봇보다 에이전틱 추론 모델로 작업을 라우팅할 때 제공자 측 추론 비용이 최소 5배, 작업 복잡도에 따라 그 이상 증가할 수 있다고 설명했습니다. 중요한 것은 이 수치를 공포 마케팅처럼 받아들이는 것이 아니라, 에이전트 설계에 비용 예산과 종료 조건이 필요하다는 신호로 이해하는 것입니다.
해법 1: 모든 작업에 가장 비싼 모델을 쓰지 않는다
에이전트의 첫 번째 설계 원칙은 모델을 한 종류로 고정하지 않는 것입니다. 작업의 난이도와 위험도에 따라 모델을 나눠야 합니다.
| 작업 | 적합한 모델 계층 | 이유 |
|---|---|---|
| 분류·추출·간단한 라우팅 | 빠른 소형 모델 | 짧은 지연시간과 낮은 비용 |
| 요약·재작성·일반 질의 | 중간급 모델 | 품질과 비용의 균형 |
| 복잡한 계획·코드·다중 문서 추론 | 고성능 추론 모델 | 실패 비용이 큰 작업 |
| 사실 확인·정책 검사 | 별도 검증 모델 또는 규칙 | 생성 모델과 독립적인 확인 |
예를 들어 고객지원 에이전트라면 모든 문의를 최고급 추론 모델에 보낼 필요가 없습니다. 주문 상태 확인은 규칙과 API로 처리하고, 의도를 분류한 뒤 환불 규정처럼 위험한 요청만 더 강한 모델과 사람 승인 단계로 넘길 수 있습니다.
해법 2: 에이전트에게 ‘토큰 예산’을 준다
자율성이 높다는 이유로 에이전트가 무한히 생각하도록 두면 비용도 무한히 늘어날 수 있습니다. 각 작업에 예산을 명시해야 합니다.
- 최대 모델 호출 횟수
- 최대 입력·출력 토큰 수
- 허용되는 도구 호출 시간
- 재시도 횟수와 재시도 조건
- 사람에게 넘겨야 하는 위험 단계
- 예산을 초과했을 때의 축약·중단·대체 경로
예산은 단순한 비용 제한이 아닙니다. 에이전트가 문제를 계속 반복하지 않고, 언제 “충분히 좋은 결과”로 멈출지 정의하는 품질 정책이기도 합니다.
해법 3: 계획·실행·검증을 분리한다
하나의 거대한 프롬프트에 모든 책임을 넣으면 어떤 단계에서 비용과 오류가 발생했는지 알기 어렵습니다. 계획(planning), 실행(action), 검증(verification)을 분리하면 각 단계에 맞는 모델과 정책을 적용할 수 있습니다.
1 2 3Planner: 해야 할 일을 작은 단계로 나눈다 Executor: 승인된 도구만 호출한다 Verifier: 결과와 출처, 정책 위반을 확인한다
검증 모델은 생성 모델보다 작아도 됩니다. 중요한 것은 별도의 관점으로 결과를 확인하고, 실패했을 때 재생성 대신 사람 검토나 안전한 폴백으로 전환하는 것입니다.
해법 4: 컨텍스트를 매번 처음부터 보내지 않는다
에이전트 비용의 상당 부분은 모델 자체보다 컨텍스트에서 발생합니다. 긴 대화 기록, 중복된 시스템 지침, 이미 처리한 도구 결과를 매번 다시 보내면 입력 토큰과 지연시간이 함께 커집니다.
실무에서는 다음 전략을 조합할 수 있습니다.
- 오래된 대화는 요약하고 원문은 필요할 때만 다시 불러오기
- 반복되는 시스템 지침과 문서를 캐시하기
- 검색 결과를 상위 몇 개로 제한하고 중복 제거하기
- 도구 결과를 구조화해 필요한 필드만 다음 단계에 전달하기
- 작업 상태와 메모리를 분리해 재시작 때 전체 대화를 복원하지 않기
컨텍스트를 줄인다고 정보를 무조건 버리는 것은 아닙니다. 다음 단계에 실제로 필요한 정보와 감사·인용을 위해 보관해야 할 원본을 분리하는 것입니다.
‘에이전트 런타임’이 중요해지는 이유
최근 AI 개발 도구의 중심도 모델 호출 함수에서 에이전트 런타임으로 이동하고 있습니다. Microsoft Agent Framework는 에이전트가 도구와 MCP 서버를 호출하고, 장기 작업을 위한 계획·메모리·승인·관측 기능을 사용하도록 구성합니다. 공식 문서와 저장소는 순차·병렬·핸드오프 같은 워크플로우, 체크포인트, 사람 개입, 분산 추적을 주요 기능으로 제시합니다.
이런 런타임이 필요한 이유는 에이전트의 품질이 최종 답변 한 줄만으로 결정되지 않기 때문입니다. 어떤 모델을 선택했는지, 몇 번 재시도했는지, 어떤 도구 결과를 믿었는지, 누가 승인했는지까지 기록해야 비용과 오류를 함께 개선할 수 있습니다.
한국의 NPU 논의도 결국 AI 실행 비용의 문제다
8월 20일 한국 정부와 AMD가 CPU·GPU·국산 NPU를 결합한 개방형 AI 컴퓨팅 인프라 실증을 논의한 것도 같은 흐름에서 볼 수 있습니다. 하드웨어 뉴스처럼 보이지만 본질은 AI 서비스를 더 낮은 비용과 전력으로 지속적으로 실행할 수 있는가에 있습니다.
다만 어떤 칩을 쓰느냐가 자동으로 비용을 낮춰주지는 않습니다. 모델 서버, 컴파일러, 장치별 연산 지원, 폴백, 관측 도구가 함께 갖춰져야 에이전트의 실제 작업 단가가 내려갑니다. 인프라는 AI 실행 정책을 뒷받침하는 기반이지, 그 자체가 제품의 목표는 아닙니다.
개발자가 지금 측정해야 할 지표
에이전트는 “정답률” 하나로 평가하기 어렵습니다. 다음 지표를 작업 단위로 기록하는 것이 좋습니다.
- 성공한 업무 1건당 비용
- 업무 1건을 완료하는 평균 모델 호출 수
- 첫 응답과 최종 완료까지의 지연시간
- 도구 호출 실패율과 재시도 횟수
- 검증 단계에서 발견한 오류율
- 사람에게 넘긴 비율과 승인까지 걸린 시간
- 모델별 토큰·도구·검색 비용
특히 성공한 작업당 비용이 중요합니다. 더 싼 모델을 사용했지만 실패와 재시도가 늘었다면 실제 비용은 오히려 커질 수 있습니다. 반대로 비싼 모델을 핵심 단계에만 사용해 전체 성공률을 높이면 총비용이 낮아질 수도 있습니다.
결론: AI 제품의 경쟁력은 모델 선택이 아니라 실행 설계다
에이전틱 AI 시대에는 모델 가격표만 비교해서는 안 됩니다. 하나의 사용자 요청이 몇 번의 판단과 도구 호출로 확장되는지, 어느 단계에서 강한 모델이 필요한지, 무엇을 캐시하고 언제 멈출지 설계해야 합니다.
Gartner의 ‘추론 비용 5배’ 전망은 에이전트가 실패한다는 뜻이 아닙니다. 오히려 에이전트가 실제 업무를 수행하려면 AI 제품팀이 모델 라우팅, 토큰 예산, 검증, 관측을 제품 기능으로 다뤄야 한다는 뜻입니다.
앞으로의 승자는 가장 비싼 모델을 무제한 호출하는 서비스가 아닐 가능성이 큽니다. 단순한 일은 빠르게 끝내고, 어려운 일에만 깊게 생각하며, 위험한 행동은 검증과 승인으로 통제하는 서비스가 사용자에게 더 좋은 경험과 지속 가능한 비용을 제공할 것입니다.