Data Eng Wiki

Beyond the Dashboard - Accelerating Real-Time Intelligence in the Age of AI

13 min read

Beyond the Dashboard: Accelerating Real-Time Intelligence in the Age of AI

Author: Kostiantyn Okhrimenko (Booking.com) | Source: medium.com/booking-com-development | Published: 2026-08-27

한 줄 요약

LLM을 raw 데이터 레이크에 겨누는 것으로는 안 되고 Snowflake Semantic View(시맨틱 레이어) + Agent + Git-flow 거버넌스를 결합해야 “Talk to your data”가 liability가 아닌 자산이 되는데, 그 대가는 대시보드 부채가 시맨틱 레이어 부채로 이동하는 것이다.

핵심 주장/내용

  • 문제 — 우선순위 문제가 아니라 구조 문제: 임원 회의 직전에 긴급 리포트·대시보드 요청이 오면 데이터·엔지니어링 팀은 계획된 일을 놓고 대응해야 한다. 요청 하나는 합리적이지만 반복되는 중단에는 비용이 있다 — 인프라 확장, 신뢰성 개선, 모델 최적화 같은 중요한 일이 밀리고, 빠른 일회성 대시보드는 유지보수해야 할 기술 부채가 더 쌓인다
    • 의사결정자의 필요는 진짜다. 그런데 답을 얻는 것이 SQL을 알고, 데이터 구조를 이해하고, 도와줄 시간이 있는 누군가에게 달려 있다. 그 사람들이 이미 바쁘면 답이 데이터 웨어하우스에 앉아 있는데도 질문이 기다린다. 리포트가 준비될 즈음 의사결정 창은 이미 지났을 수 있다
  • Data Democratization → “Talk to your data”: 전통 스택에서 데이터로의 “인터페이스”는 대시보드 아니면 SQL 에디터였고 이것이 마찰을 낳는 높은 진입 장벽을 만들었다. 전통적 데이터 민주화는 종종 명확한 거버넌스 없이 복잡한 pre-AI 도구 접근권만 주었다
    • “Talk to your data”는 셀프서브 생태계 — 어떤 이해관계자든 전통적 티켓 큐를 우회하고, 엔지니어가 요구사항을 해석해 쿼리로 번역해주기를 기다리는 대신 특화된 에이전트와 대화한다
    • 다만 과제는 어떤 답이 아니라 올바른 답을 얻는 것. 이를 풀려면 기본 LLM을 넘어 견고한 시맨틱 레이어에 집중해야 한다. 그 레이어 없이는 셀프서비스가 liability가 된다
  • 기반 — 시맨틱 레이어와 Snowflake Semantic Views: LLM을 raw 데이터 레이크에 겨누고 최선을 바랄 수는 없다. 물리적 DB 스키마를 의미 있는 비즈니스 개념으로 번역하는 구조화된 논리 레이어가 필요하다
    • 시맨틱 레이어는 **복잡한 기술 테이블과 비즈니스의 일상 언어 사이의 “번역기”**다. 어떤 컬럼을 조인해야 하는지, 특정 마진을 어떻게 계산하는지 알 필요 없이 사전 정의된 일관된 dimension·metric 집합을 제공한다. 부서 간 KPI·지표·차원의 단일 진실 원천
    • Booking.com에서 Snowflake는 주요 분석 DB 중 하나이고, semantic view로 통합 시맨틱 레이어를 향해 이동한다. 이 접근이 “active booking”이나 “gross revenue” 같은 비즈니스 정의를 다운스트림 도구와 무관하게 모든 대시보드·리포트에서 일관되게 유지한다
  • Semantic View만으로는 부족 — Agent가 다리를 놓는다: semantic view 확립은 첫 단계일 뿐. 시맨틱 레이어 자체가 데이터를 자동으로 모두에게 접근 가능하게 만들지 않는다 — 그저 정리하고 AI를 위해 준비시킬 뿐이다. 진짜 패러다임 전환은 Semantic View + Snowflake Agents에서 일어난다
    • Snowflake Agents는 기업 데이터 위에서 직접 계획·추론·다단계 작업 실행이 가능한 자율 AI 엔티티로, 단순 챗봇과 달리 자연어를 SQL로 번역한다. Snowflake의 거버넌스 경계 안에서 동작하므로 비즈니스 사용자가 데이터 팀의 수동 개입을 기다리지 않고 “board-ready” 인사이트를 얻는다
    • 에이전트는 코드 실행과 raw 데이터 반환에서 한 걸음 더 나아가 추가 인사이트와 트렌드로 데이터를 풍부하게 한다
  • verified queries — AI 회의론을 줄이는 장치: 정확도를 위해 시스템이 전문가가 검증한 쿼리를 포함한다. 에이전트가 이 사전 승인된 SQL 템플릿으로 응답을 생성하면 출력을 “generated from the verified query”로 배지한다
    • 이 투명성이 이해관계자에게 답이 데이터 전문가(여기서는 semantic view 유지자)에게 검증되었다는 추가 안심을 준다. 결과가 결정적이고 신뢰할 만함을 증명해 AI 생성 코드에 흔히 따르는 회의론을 효과적으로 최소화한다
  • 거버넌스 — dbt + GitLab Git-flow: 개발에서는 아름답게 작동하지만 엔터프라이즈급 프로덕션으로 넘어가려면 엄격한 persistence·재현성·거버넌스가 필요하다. semantic view와 agent를 네이티브 지원하는 플러그인을 갖춘 dbt와 GitLab 소스 컨트롤을 통합했다
    • 시맨틱 정의나 전문가 검증 쿼리의 어떤 수정도 main 브랜치에 닿기 전에 두 명의 승인이 의무인 정식 Merge Request를 거쳐야 한다. 이 human-in-the-loop 리뷰가 인적 오류에 대한 결정적 방어선이 되어 최종 사용자에게 도달하는 것의 신뢰성을 높이고 로직을 리뷰 가능하고 거버넌스되게 만든다
    • 다음 프론티어: 현재는 전통적 엔지니어링 워크플로로 이 라이프사이클을 관리하지만, Claude Code나 Snowflake의 Cortex Code 같은 자율 코딩 에이전트로 이 프로세스 자체를 자동화하는 것
  • 실제 예시 — Tableau 마이그레이션 텔레메트리: 2024–2025 Hadoop → Snowflake 마이그레이션을 위해 모든 Tableau workbook의 사용 통계와 의존성을 매핑하는 전용 파이프라인을 만들었고, 그 텔레메트리를 재사용해 semantic view를 구성했다. 구성 요소:
    • Relationship — 두 테이블이 어떻게 연결/조인되는가
    • Verified Queries — 데이터 전문가가 검증한 이 semantic view에 대한 전형적 쿼리
    • Suggestions — Snowflake Cortex 기반 실시간 AI 개선 제안. 오너가 수락하거나 거절
    • Playground — public으로 만들기 전에 semantic view를 테스트하는 방법
    • 예시 질문: “workbook이 총 몇 개인가?”, “마이그레이션하기 가장 어려운 workbook은?”, “월별로 몇 개를 마이그레이션했나?”
  • 리스크와 트레이드오프 — silver bullet이 아니다:
    1. 병목의 이동 (대시보드 부채 → 시맨틱 레이어 부채) — 엔지니어가 정적 대시보드 만드는 시간은 줄지만 시맨틱 정의를 지속적으로 유지·확장하는 새 부담을 진다. 비즈니스 로직이 바뀌거나 새 지표가 생기면 팀은 여전히 semantic view와 verified query 갱신 요청을 처리해야 하고, 엔지니어링 병목은 제거되는 게 아니라 상류로 옮겨진다. 완화: 팀이 자율적으로 로직을 갱신하게 하는 자동화된 거버넌스 워크플로
    2. 컴퓨트 비용과 토큰 오버헤드 — 대화형 BI는 정적 BI보다 훨씬 비쌀 수 있다. 사전 렌더링된 대시보드는 캐싱을 활용하지만, 동적 LLM 추론 단계 + 즉석 생성되는 최적화되지 않은 ad-hoc SQL은 Snowflake credit 소비와 토큰 비용을 올린다. 완화: 무한 프롬프트를 제약하는 엄격한 에이전트 guardrail, 공격적 실행 타임아웃을 건 전용 warehouse로 에이전트 트래픽 격리, 빈번한 동적 요청을 verified query로 전환
    3. silent failure와 복잡한 엣지케이스 환각 — verified query 범위 밖의 질문에서 문법적으로 맞지만 의미적으로 틀린 SQL을 만들 위험이 커진다. 임원이 미묘한 비즈니스 엣지케이스를 조용히 오해한, 자신 있고 잘 포맷된 답을 받아 잘못된 데이터에 신뢰를 둘 수 있다. 완화: UI의 지속적 사용자 피드백 루프 + 중앙 Semantic View Quality Scoreboard(현재는 아이디어 단계) — view 완전성을 점수화하고 사용자 피드백을 실시간 추적해 엣지케이스를 조기에 플래그하고 신뢰 수준을 이해관계자에게 명확히 전달

주요 수치 / 사실

  • 최종 구성 3요소 — Snowflake Semantic Layer(스키마와 정의를 일관된 단일 진실 원천으로 추상화) + Snowflake Agents(Text-to-SQL 기반 자율 AI) + 거버넌스된 배포 파이프라인(dbt + GitLab CI/CD, 정식 코드 리뷰와 동료 승인 2건 필수)
  • 효과 4가지 — “긴급 인사이트” 병목 제거 / 핵심 엔지니어링 집중 보호(데이터 엔지니어가 상시 고우선순위 ad-hoc 요청에서 해방되어 인프라 확장·모델 최적화 같은 deep work에 집중) / 신뢰와 거버넌스 확보 / 의사결정 레이턴시 격차 해소(리포트를 “며칠” 기다릴 필요 없이 기회 창이 닫히기 전에 대화로 실시간 인사이트 추출)

관련 위키

Source: 원문 보기

그래프 뷰

백링크