‘챗봇 만들어 주세요’ 요청에서 가장 먼저 묻는 것
스타트업에서 챗봇 의뢰가 들어왔을 때 우리가 가장 먼저 묻는 질문은 정해져 있다. “이 봇이 사용자 대신 무엇을 처리해야 하나요?” 그저 회사 정보·FAQ에 답하는 안내 봇인지, 사용자의 일정을 잡고·결제하고·메일을 발송하는 일까지 해야 하는지에 따라 들어가는 비용과 기간이 두세 배까지 벌어지기 때문이다.
이 글은 ‘AI 챗봇’과 ‘AI 에이전트’를 명확히 구분하고, 어떤 단계의 비즈니스가 어느 쪽을 먼저 만들어야 하는지에 대한 가이드다.
1. 챗봇 — ‘응답’하는 시스템
일반적인 AI 챗봇의 구조는 단순하다. 사용자의 질문이 들어오면 LLM이 답을 생성해서 돌려준다. RAG(Retrieval-Augmented Generation)를 붙이면 사내 문서·고객 데이터까지 참고해 답할 수 있다. 하지만 이 시스템은 본질적으로 대답하는 역할에 머문다.
- FAQ 응답, 제품 안내, 매뉴얼 검색
- 사내 문서 검색 보조 (HR/법무/기술 문의)
- 1차 고객 응대 후 상담사 연결
이런 영역에서는 챗봇이 정답이다. 구축 비용은 보통 1,000~3,000만 원대에서 출발하며, 운영 비용도 LLM 호출 비용 위주로 비교적 예측 가능하다.
2. 에이전트 — ‘실행’하는 시스템
AI 에이전트는 한 단계 더 들어간다. 사용자의 의도를 파악하고, 필요한 도구(tool)를 직접 호출해 결과물을 만들어 낸다. 메일을 보내거나, 캘린더에 일정을 잡거나, 결제 API를 호출하거나, 사내 시스템에 레코드를 생성하는 식이다.
챗봇은 “이 메일을 어떻게 작성해야 할까요?”에 답하지만, 에이전트는 “이 메일을 발송해 두었습니다”라고 보고한다.
구조적으로 다음 요소가 추가된다.
- Tool/Function Calling — 외부 API 연동 레이어
- Planner — 다단계 작업을 분해하고 순서를 정하는 로직
- Memory — 진행 중인 작업 상태와 맥락을 유지
- Guardrails — 잘못된 실행을 막기 위한 정책·검증 단계
이 때문에 같은 ‘챗봇처럼 보이는’ 인터페이스라도 에이전트는 보통 3,000~8,000만 원 이상으로 견적이 형성된다. 운영도 도구 호출 실패·롤백·보안 점검까지 포함되기 때문에 단순 챗봇보다 훨씬 무겁다.
3. 비즈니스 단계별 의사결정 기준
① 초기 스타트업 — 챗봇 우선
아직 사내 시스템이 정리되지 않았다면 에이전트를 만들어도 호출할 도구가 마땅치 않다. 이 시기에는 RAG 기반 챗봇으로 고객 응대 비용 절감 또는 온보딩 자동화부터 잡는 것이 ROI가 좋다.
② 시리즈 A 이후 — 부분 에이전트
핵심 업무 흐름이 안정된 회사라면, 가장 반복적인 작업 1~2개를 골라 에이전트로 자동화한다. 영업 리드 자격검증, 인보이스 발행, 1차 CS 처리 등이 좋은 후보다. 전부 에이전트화하지 말고, 효과가 명확한 한 흐름만 떼어 만드는 것이 실패 확률을 낮춘다.
③ 운영 안정기 — 멀티 에이전트
여러 에이전트가 협업하는 구조는 운영 노하우와 옵저버빌리티(observability)가 충분히 쌓인 뒤에 도전한다. 여기서 실패하는 회사 대부분은 모니터링·로깅 인프라 없이 에이전트를 늘렸다가 사고를 수습하지 못한 케이스다.
4. 의뢰 전 체크리스트
- 이 봇이 처리할 작업의 ‘실행 결과’를 한 줄로 쓸 수 있는가? (없다면 챗봇)
- 실행 실패 시 사람이 개입해 되돌릴 절차가 있는가?
- 도구 호출에 필요한 사내 API/권한 체계가 정리되어 있는가?
- 잘못된 실행으로 발생할 수 있는 최대 손실은 얼마인가? (이게 크면 에이전트는 단계적 도입)
맺으며
‘AI 에이전트’라는 이름이 멋있어 보여 여기서부터 시작하려는 회사가 많지만, 대부분은 챗봇 단계에서 충분한 가치를 뽑을 수 있고, 에이전트는 그 다음에 붙이는 편이 안전하다. 의뢰를 검토할 때 우리도 항상 ‘챗봇으로 충분하지 않은가?’를 먼저 묻는 이유다.
AI 챗봇·에이전트 도입 자문이 필요하다면 코드벤터에 문의하세요. 비즈니스 단계와 예산에 맞는 구조를 함께 설계해 드립니다.
