Data Eng Wiki

Agentic AI Engineering

11 min read

Agentic AI Engineering

AI 에이전트를 안전하게 운영·확장하기 위한 정체성·보안·격리·컨텍스트 인프라

개요

AI 에이전트가 챗 인터페이스에서 네트워크·자격증명·도구·메모리를 가진 자율 workload로 진화하면서, 리스크 모델이 근본적으로 바뀌었다. 행동하는 에이전트는 “어떻게 똑똑하게 만드나”보다 “어떻게 안전하게 운영하나”가 더 어려운 문제다. 이 토픽은 AI in Data Engineering(AI를 분석·품질에 활용)과 달리, 에이전트 자체를 프로덕션에서 운영하는 인프라 — 정체성·보안·격리·감사·컨텍스트 — 를 다룬다.

에이전트 정체성과 provenance

기존 IAM은 human/workload(NHI)를 중심으로 설계됐으나, 에이전트는 “타인을 대신해(agency) 행동”하며 다단계로 일한다. 핵심 과제는 “누가·무엇을·왜” 했는지를 hop 간 추적하는 것.

두 가지 상보적 접근

측면Uber STSGrab Palana
초점provenance 전파(actor chain)실행 격리(namespace + proxy)
자격증명per-hop scoped JWTproxy-only secret(placeholder)
기반SPIRE/SPIFFEKubernetes-native + SPIFFE(로드맵)
north star”agents on behalf of users with cut-down permissions” 공유

보안 — 트러스트 경계에 control 배치

prompt-level 가드레일만으론 부족하다. 에이전트가 도구를 호출하고, 도구가 서비스를 호출하고, 서비스가 자격증명을 쓰므로, action이 트러스트 경계를 넘는 지점(identity·egress·secret·ingress·Git·API)에 control을 둬야 한다.

  • proxy-only secret: “credential 읽기”와 “credentialed 요청 유발”의 분리가 high-leverage(prompt injection·의존성 침해 시 노출 방지)
  • egress as control point: 금지가 아닌 observable·policy-mediated(L3/L4 containment + L7 audit)
  • control plane은 에이전트 밖에: kill switch가 요청이 아닌 네트워크 경로 제거(safety control)

멀티에이전트 오케스트레이션과 도구

컨텍스트가 에이전트 신뢰성을 좌우

에이전트 실패의 핵심 원인은 SQL 생성 능력이 아니라 컨텍스트 부재. 에이전트 하니스는 컨텍스트 관리에서 50년 컴퓨팅 메모리 관리와 동일한 패턴으로 수렴.

  • Context Engineering — 4개 하니스(Pi/OpenClaw/Claude Code/Letta)의 수렴, Context Anchoring
  • AI Self-Serve Analytics — Anthropic agentic 분석 스택(data foundations → sources of truth → skills → validation), 3가지 실패 모드
  • AI-Ready Data — 에이전트가 신뢰성 있게 추론하는 데이터 상태

거버넌스와 리스크

  • Data Governance — Least-Privilege Gateway, LLM 기반 PII 탐지
  • AI 에이전트 보험 리스크: 비결정적 출력으로 커버리지 축소 — 거버넌스된 AI만 보험 가능

공통 원칙

  1. isolation이 trust의 단위: 에이전트당 namespace·자격증명 scope. 프레임워크의 내부 isolation을 가정 안 해도 안전
  2. safe path = easy path: 안전한 경로가 self-service·ergonomic하지 않으면 팀이 우회
  3. provenance를 끝까지 전파: 전체 actor chain 기반 정책·감사(immediate caller만으론 불충분)
  4. boring한 autonomy: north star는 “에이전트가 무엇이든 하게”가 아니라 attributable·inspectable·revocable·recoverable
  5. 컨텍스트·검증이 정확성의 핵심: 코드 생성이 아닌 컨텍스트·검증 문제

dew_277~286 — 에이전트가 데이터를 소비하고 일을 하기 시작하다

harness가 프롬프트보다 중요하다

Loop Engineering — 에이전트를 프롬프트하는 시스템을 설계하는 것이 프롬프트를 쓰는 것을 대체한다. 반복되는 루프는 Agent Skills and Paved Paths로 포장된다. Netflix의 Spark 실험 사례가 구체적이다 — AI 에이전트를 코드 작성이 아니라 배포·폴링·메트릭 수집·변형 비교라는 운영에 썼고, 루프가 반복되자 sandbox-deploy-and-run skill로 패키징했다. “가치는 깊은 Spark 전문성이 아니라 operational memory였다.”

에이전트가 실패하는 방식은 사람과 다르다

Multiagent Coordination에 더해 Agentic ML Modeling이 프로덕션 실패 카탈로그를 제공한다:

  • 평가 데이터가 틀리면 에이전트가 그것을 최적화한다 (gateway timeout이 유효 베이스라인으로 로깅 → 가짜 target 모델링)
  • feature leakage — point-in-time join 오류로 미래를 현재에 병합. 오프라인 분석에서 발견 극난
  • 에이전트가 held-out set을 훔쳐본다 → 모델링 에이전트와 평가 에이전트를 엄격히 분리(cross-agent validation)
  • 다중 검정 — 탐색량이 100배면 가짜 승자도 100배. randomization 체크를 승격 게이트로

에이전트의 실수는 빠르고 조용하고 그럴듯하다. 사람이라면 “이 숫자 이상한데” 하고 멈출 자리에서 에이전트는 자신 있게 진행한다.

인가 경로에서 검색된 텍스트를 빼라

AI-Ready Data의 capability model이 가장 날카로운 보안 원칙을 제공한다:

검색된 텍스트는 informs하지 gates하지 않는다. 규칙은 사전에 문서에서 추출되어 인간이 큐레이션하고 선언된 precondition으로 저장된다. 행동 시점에 에이전트는 비정형 콘텐츠를 읽어 무엇을 제안할지 정할 수 있지만, 선언된 규칙만이 무엇이 허용되는지 결정한다.

이것은 하이재킹된 에이전트의 도달 범위를 줄이는 것보다 강한 주장이다 — 오염된 문서가 애초에 권한을 부여할 수 없다. lethal trifecta의 세 번째 축을 구조적으로 끊는다.

reversibility가 거래 금액보다 나은 자율성 예측 변수라는 것도 같은 계열이다 — 되돌릴 수 있는 200 외부 결제보다 자동화하기 안전하다.

자율성은 단계적, 관측성은 첫날부터

staged autonomy(Shadow → Supervised → Guardrails → Full)는 익숙하지만, 놓치기 쉬운 구분이 있다:

자율성은 단계적으로 얻는 것이라 아무도 한 번에 다 주기를 기대하지 않는다. 관측성은 전혀 단계적이지 않다. 자율성 수준이 무엇이든 첫날부터 완전한 강도로 들어가야 한다.

agentic lineage — 전통 리니지가 무엇이 접근되었는지를 추적한다면, agentic lineage는 **왜 X에 접근하기로 결정했는지*를 추적한다. traces/spans 모델은 분산 시스템 관측성에서 그대로 빌려온다. EU AI Act Article 12/19가 최소 6개월 보관을 요구하지만, 규제와 무관하게 설명할 수 없는 시스템은 신뢰하거나 방어하거나 고칠 수 없는 시스템이다.

에이전트가 데이터의 주 소비자가 되면

Agent-Native Data Exchange, Consensus Engineering — 산출물을 기계 판독 가능하게 만들고(llms.txt), 어떤 에이전트든 조작 가능하게 하고(agent-agnostic), 어느 인터페이스에서 물어도 같은 답이 나오는지 측정한다.

당신의 지능을 남의 인터페이스에 가두지 마라.

관련 위키

관련 이슈: DEW #257, #258, #260, #261, #262, #263, #266, #267, #269, #271, #272, #274, #276, #277, #280, #281, #283, #285, #286

그래프 뷰

백링크