2장. Agentic AI 기술 스택: 머릿속에 한 장짜리 지도를 먼저 그리기

2장. Agentic AI 기술 스택: 머릿속에 한 장짜리 지도를 먼저 그리기

Agentic AI 이야기를 조금만 깊게 들어가면 금방 복잡해집니다.

모델 이름, 프롬프트 엔지니어링, 에이전트 프레임워크, 오케스트레이션 엔진, 각종 툴과 API…

이럴 때 제일 먼저 하는 게 좋다고 생각하는 작업은 단순합니다.

“화이트보드에다 한 장짜리 스택 그림을 그려놓고 시작하기.”

어떤 회사든, 어떤 제품이든, 어떤 도메인이든

결국 이 한 장짜리 스택 그림 위에 올라가는 모양만 조금씩 다를 뿐입니다.

이 장에서는 그 “기본 지도”를 먼저 그려보려고 합니다.

2.1 다섯 개의 레이어로 보는 Agentic 풀스택

Agentic AI를 실무 관점에서 보면, 대체로 다음 다섯 레이어로 정리할 수 있습니다.

  • 모델 레이어

  • 도구·프로토콜 레이어

  • 에이전트·오케스트레이션 레이어

  • 애플리케이션 레이어

  • 운영·거버넌스 레이어

이 다섯 개를 하나씩 아래에서 풀어보겠습니다.

나중에 MCP, Bun, Claude Code를 이야기할 때도 계속 이 구조 위에 얹어서 볼 수 있습니다.

1) 모델 레이어: 뇌에 해당하는 부분

가장 아래에는 결국 모델이 있습니다.

Claude, GPT, 기타 특화 모델들이 이 레이어에 해당합니다.

여기서 중요한 질문은 “누가 더 똑똑한가?” 보다는 “어떤 역할 분담을 할 것인가?”에 가깝습니다.

  • 범용 LLM

    • 자연어 이해, 코드 이해, 추론, 요약 등 대부분의 인지 작업을 담당합니다.

  • 도메인 특화 모델

    • 예를 들어 차량 로그, 의료 데이터, 보안 이벤트 로그 등 특정 포맷에 강한 모델이 따로 있을 수 있습니다.

  • 멀티모달 모델

    • 텍스트, 이미지, 코드, 테이블 등을 같이 다루면서 복합적인 판단을 내립니다.

Agentic 관점에서 모델 레이어는 “생각하고 판단하는 부분”입니다.

하지만 이 레이어만 가지고는 아무 것도 바뀌지 않습니다.

머리를 하나 올려야, 비로소 바깥 세상과 연결됩니다.

2) 도구·프로토콜 레이어: 팔·다리가 연결되는 부분

모델이 아무리 똑똑해도,

도구와 시스템에 접근할 방법이 없으면 할 수 있는 일이 제한적입니다.

그래서 두 번째 레이어에는 다음과 같은 요소들이 자리합니다.

  • 내부·외부 API

    • 사내 시스템, DB, 로그 스토어, CI/CD, 티켓 시스템, CRM, ERP 등

  • SaaS 및 개발자 도구

    • GitHub, Jira, Slack, Notion, Google Drive 같은 것들

  • 프로토콜·표준

    • MCP 같은 “모델이 도구·리소스를 발견하고 호출하기 위한 공통 인터페이스”

여기서 핵심은 “모델이 도구에 접근하는 방식”을 정리하는 것입니다.

  • 각 에이전트마다 제각각 플러그인을 붙이는 방식으로 갈 것인지

  • 아니면 MCP처럼 비교적 표준화된 인터페이스를 통해

    툴과 리소스를 주입할 것인지

도구 레이어는 결국 이렇게 요약할 수 있습니다.

“모델이 바깥세상의 버튼·레버·센서를 만지는 방식.”

Agentic AI가 실전에서 의미를 가지려면

이 레이어가 단단하게 설계되어 있어야 합니다.

3) 에이전트·오케스트레이션 레이어: 생각과 행동을 묶는 두뇌

세 번째 레이어가 사실 Agentic AI를 Agentic하게 만드는 핵심입니다.

이 레이어는 대체로 이런 역할들을 포함합니다.

  • 목표를 이해하고 작업을 쪼개는 플래너

  • 어떤 도구를 언제 쓸지 결정하는 정책

  • 중간 결과를 보고 다음 스텝을 선택하는 루프

  • 여러 에이전트 간의 역할 분담과 메시지 전달

  • 메모리·상태 관리 (프로젝트 단위, 세션 단위, 사용자 단위)

여기서 중요한 포인트는 두 가지입니다.

첫째, “에이전트 = 모델”이 아니라는 점입니다.

에이전트는 보통:

  • 하나 이상의 모델 호출,

  • 도구 호출,

  • 상태 업데이트,

  • 제어 로직

이 섞여 있는 구조입니다. LLM은 그 안에서 추론·생성 역할을 맡을 뿐입니다.

둘째, 이 레이어가 설계되는 방식에 따라

시스템이 얼마나 “자율적으로 버티는지”가 결정됩니다.

  • 단순한 에이전트

    • “사용자가 부탁할 때마다 툴 한 번 호출해주는 수준”

  • Agentic 에이전트

    • “목표를 전달하면 필요한 단계를 스스로 만들어서,

      도구와 상호작용을 반복하면서 완료 상태까지 끌고 가는 수준”

이 차이가 바로 Agentic AI의 진폭을 좌우합니다.

4) 애플리케이션 레이어: 사람이 실제로 만나는 얼굴

네 번째 레이어는 사람이 실제로 사용하는 제품·서비스입니다.

  • 개발자에게는 IDE 안의 Claude Code 같은 환경

  • 지식노동자에게는 리서치·정리·레포트 에이전트

  • 운영·보안 팀에게는 알람 triage, 로그 분석 에이전트

  • 현장 작업자에게는 모바일/웹 기반 업무 보조 에이전트

여기서부터는 기술만으로 설명이 되지 않습니다.

  • UX:

    • 채팅 UI가 맞는지,
    • 워크플로 빌더가 맞는지,
    • IDE/툴 내부에 자연스럽게 녹이는 게 맞는지.

  • 온보딩:

    • 사용자가 에이전트를 어떻게 이해하고 신뢰하게 되는지.

  • 유즈케이스:

    • 어떤 업무부터 에이전트에 넘기는 게 가장 효율적인지.

같은 에이전트라도 UI와 컨텍스트에 따라 “전혀 다른 제품처럼” 느껴집니다.

그래서 애플리케이션 레이어는 기술 스택과 별개로,

도메인 이해와 프로덕트 감각이 매우 크게 작동하는 영역입니다.

Claude Code 같은 사례는 이 레이어에서의 Agentic 적용 예시를 보여주는 좋은 샘플 중 하나입니다.

5) 운영·거버넌스 레이어: AgentOps의 세계

마지막 레이어는 종종 간과되지만,

실제로 엔터프라이즈 도입 단계에서 가장 많은 질문이 쏟아지는 부분입니다.

  • 이 에이전트가 지금 어떤 행동을 하고 있는지 어떻게 모니터링할 것인가?

  • 잘못된 행동을 했을 때 어떻게 막고, 되돌리고, 수정할 것인가?

  • 어떤 데이터·시스템에 어디까지 접근하게 할 것인가?

  • 로그와 감사 기록을 어떻게 남기고 관리할 것인가?

  • 규제·컴플라이언스 이슈는 어떻게 대응할 것인가?

이 레이어는 보통 세 가지를 동시에 다룹니다.

  • 관찰(Observability)

  • 제어(Control)

  • 책임(Accountability)

Agentic AI가 실제 조직에 들어가면

“이 에이전트를 누가 책임질 것인가?”라는 질문을 피할 수 없습니다.

그래서 AgentOps라는 개념이 등장합니다.

모델을 운영하는 MLOps에서 한 단계 올라가,

“에이전트의 행동 자체를 운영·관찰·통제하는 프레임”입니다.

2.2 이 스택으로 생각하면 좋은 점

이 다섯 개 레이어를 한 번 머릿속에 박아두면,

이후의 모든 논의를 꽤 정리된 상태에서 볼 수 있습니다.

  • 어떤 논의는 모델 레벨 얘기인지,

  • MCP 같은 프로토콜 레벨 얘기인지,

  • 에이전트 설계 얘기인지,

  • 제품 UX 얘기인지,

  • 거버넌스·조직 얘기인지

레이어를 구분해놓으면,

각 레벨에서 해야 할 질문과 설계 포인트가 자연스럽게 나옵니다.

예를 들어 “Bun 인수” 이야기를 들을 때도,

“아, 이건 실행 인프라 레이어에 대한 전략적 선택이구나.”라고 바로 위치를 잡을 수 있습니다.

MCP와 Agentic AI Foundation 이야기를 읽을 때는,

“이건 도구·프로토콜 레이어와 생태계·거버넌스 레이어에 걸친 움직임이구나.”라고 볼 수 있습니다.

그리고 무엇보다,

어떤 PoC를 설계하든, 어떤 제품을 기획하든, 어떤 교육·커뮤니티를 만들든

결국 다음 질문으로 정리할 수 있습니다.

  • 이 시도는 이 다섯 레이어 중 어디를 건드리는가?

  • 지금 부족한 레이어는 어디고,

  • 당장 손댈 수 있는 레이어는 어디인가?

2.3 다음 장으로 넘어가기 전에

2장은 “지도 그리기”에 가까운 챕터입니다.

세부 기술이나 사례보다는,

Agentic AI를 바라볼 때 기본이 되는 스택 프레임을 세팅하는 단계입니다.

이제 이 지도를 들고,

다음 장에서는 프로토콜 레이어 쪽 —

특히 MCP와 Agentic AI Foundation이 어떤 역할을 하는지,

왜 굳이 오픈 프로토콜과 재단까지 만들어서 여기에 힘을 싣고 있는지 — 를 살펴보겠습니다.