Data Eng Wiki

Correlation Lied to Us - Rethinking Product Impact with Causal Inference

13 min read

Correlation Lied to Us: Rethinking Product Impact with Causal Inference

Author: Enderson Santos (OLX) | Source: tech.olx.com | Published: 2026-08-05

한 줄 요약

프리미엄 패키지 광고가 저가 패키지보다 성과가 나빠 보였던 것은 노출의 가치가 없어서가 아니라 비교 대상이 애초에 비교 가능하지 않았기 때문이었고, propensity score matching으로 비슷한 광고끼리 비교하자 정반대 결론이 나왔다.

핵심 주장/내용

  • 문제: 전문 셀러가 더 많은 노출을 약속하는 상위 패키지에 돈을 낸다. 그런데 데이터를 보니 일부에서 프리미엄 패키지로 게시된 광고가 저가 패키지 광고보다 성과가 나빠 보였다. 여러 설명이 가능했지만 결국 다른 질문을 하게 됐다 — “우리가 이걸 제대로 측정하고 있나? 더 구체적으로, 서로 다른 패키지의 광고들이 애초에 비교 가능한가?”
  • 선택 편향의 구조: 패키지 선택은 랜덤이 아니다. 셀러가 재고·전략·노출 투자 의향에 따라 고른다. 결과적으로 프리미엄 패키지에는 더 신형 차량, 더 비싼 재고, 다른 상업적 행동을 하는 셀러가 담기고, 하위 패키지에는 추가 노출 없이도 자연히 잘 되는 광고가 담긴다. 관측된 성과 차이가 광고 품질·차량 특성·셀러 행동·랭킹 관련성·패키지 노출 효과를 전부 뒤섞고 있어서 “추가 노출 자체가 얼마나 가치를 만드나” 라는 진짜 질문에 답할 수 없다
  • Propensity Score Matching: 모든 광고를 다른 모든 광고와 비교하는 대신 비슷한 특성의 광고를 짝지어 패키지 티어 간 더 균형 잡힌 비교를 만든다. propensity score는 관측된 특성이 주어졌을 때 관측치가 treatment를 받을 확률이다
    • 통계 모델이 연식·주행거리·변속기·연료·브랜드·차체 유형 등을 보고 상위 패키지에 나타나는 경향의 패턴을 학습해 각 광고에 0~1 확률을 부여. 신형 저주행 자동변속 프리미엄 브랜드 SUV는 높은 점수를, 구형 고주행 수동차는 낮은 점수를 받는다
    • 중요한 점: propensity score는 성과나 품질을 직접 측정하지 않는다. 관측 가능한 특성 면에서 광고들이 얼마나 비슷한지를 요약할 뿐이다. 비슷한 점수를 가진 광고는 상위 패키지를 받을 가능성이 비슷했으므로 비교 가능하다고 본다 — 실제로 하나는 받았고 하나는 안 받았더라도
    • 추정에는 복잡도를 제약한 regularized XGBoost 분류기 사용
  • 피처 선택 — 목표가 다르다: 노출과 결과의 관계를 교란할 수 있으므로 패키지 할당과 광고 성과 둘 다에 영향을 주는 변수를 포함해야 한다. 가격, 주행거리, 연식, 출력, 연료 유형, 차체 유형 + 인기 make/model의 범주형 표현(브랜드 레벨 효과)
  • 3가지 진단:
    • Common Support — treatment와 control의 propensity score 분포가 겹치는 영역. 겹침이 없는 광고는 다른 그룹에 의미 있는 상대가 없으므로 분석에서 제외된다
      • 여기서 “나쁜 피처”도 식별된다: 어떤 변수는 treatment와 control을 너무 강하게 분리해 겹침이 사라진다. 전통적 분류 문제에서는 이런 고판별 변수가 바람직하지만 PSM에서는 목표가 다르다 — 완벽히 분리하는 게 아니라 충분한 겹침을 가진 비교 가능한 그룹을 만드는 것이다
    • Covariate Balance (SMD) — 겹침만으로는 부족하고 매칭된 그룹이 관측 특성 전반에서 비슷한지 확인해야 한다. 0에 가까울수록 유사하고 0.1 미만이면 일반적으로 수용 가능. 매칭 전 전체 SMD 0.326 → 매칭 후 0.059
    • Temporal Behavioral Validation — 통계 진단도 중요하지만 마켓플레이스 자체의 메커니즘으로도 검증할 수 있다. 패키지 티어 간 핵심 차이는 광고 생애 동안 받는 boost 수이므로, 매칭이 성공했다면 추가 boost가 노출에 영향을 주기 전에는 두 그룹이 비슷하게 행동해야 한다
      • 기대: 1주차 차이 거의 없음 → 2주차 작은 발산 시작 → 3주차 격차 확대 → 4주차 최대 차이. 데이터에서 정확히 이 패턴이 관측됐다
      • 중요성은 성과 격차가 즉시가 아니라 점진적으로 나타난다는 것이다. 매칭된 광고들이 처음부터 근본적으로 달랐다면 1일차부터 큰 격차를 기대했을 것이다. 이 시간적 패턴이 관측된 uplift가 사전 존재하는 차이가 아니라 노출 메커니즘 자체와 연관됨을 추가로 검증한다
  • A/B 테스트를 왜 쓰지 않나 — 확장성: 마켓플레이스에서 노출 실험은 비싸고 운영상 제약이 크다. 실험 중 부여된 추가 boost 하나하나가 셀러가 구매하지 않은 프리미엄 가시성이고, 실무적으로는 수익화 가능한 재고를 무료로 할당하는 것이라 비즈니스와 마켓플레이스 양쪽에 제약이 생긴다. 그래서 실험 용량이 제한되고 모든 패키지 구성을 랜덤 테스트로 평가하는 것이 비현실적
    • A/B의 목적은 오프라인 인과 프레임워크를 대체하는 것이 아니라 검증 메커니즘으로 기능하는 것이다. 실험 추정치와 관측 추정치를 비교해 매칭 접근이 진짜 인과 효과를 얼마나 정확히 포착하는지, 그 한계가 무엇인지 이해한다
  • 두 방법의 비교 결과: 강한 방향 일치 — 모든 비교 가능한 케이스에서 두 접근 모두 추가 boost가 양의 증분 가치를 만들고 노출 차이가 클수록 성과 이득도 크다고 지시. 하지만 propensity score 추정치가 실험 결과보다 일관되게 높다. 이는 매칭이 선택 편향을 상당히 줄였지만 잔여 교란(residual confounding)이 남아 있음을 시사 — 관측 프레임워크가 올바른 방향과 상대적 순서는 포착하지만 uplift의 절대 크기를 과대추정하는 경향
    • 경쟁하는 접근이 아니라 상보적: 실험이 인과 벤치마크를 확립하고, 관측 방법이 그 통찰을 훨씬 넓은 마켓플레이스 시나리오로 확장한다

주요 수치 / 사실

  • 매칭 후 ATE (Average Treatment Effect): Package 1 → 2 +17.6%, Package 2 → 3 +72%, Package 3 → 4 +68%, Package 1 → 4 +97.4%. boost 할당 차이가 가장 큰 1→4에서 최대 uplift가 나타나는 일관된 관계
  • SMD 0.326 → 0.059
  • A/B 실험 설계: Variant A(1 boost) vs Variant B(2 boost) 랜덤 배정
  • 3가지 교훈: 마켓플레이스 노출 시스템은 강한 선택 효과를 만든다 / 집계 패키지 비교는 매우 오도적일 수 있다 / 신뢰할 만한 제품 평가에 인과 추론 기법이 필수적이다
  • 한계:
    • 미관측 요인 — PSM은 모델에 포함된 관측 특성만 조정할 수 있다. 셀러 협상 품질, 오프라인 평판, 재고 확보 전략, 사진 품질, 가격 공격성 같은 잠재 행동 요인이 여전히 패키지 선택과 성과 둘 다에 영향을 줄 수 있다
    • 마켓플레이스 이질성 — 차량 카테고리·브랜드·가격대·지역마다 다르게 반응할 수 있으므로 추정된 treatment effect는 보편 상수가 아니라 분석 모집단에 걸친 평균 효과로 해석해야 한다
    • coverage vs comparability — 적절한 상대가 없는 광고는 제외되어야 한다. 모든 광고가 매칭되지 않고, 매우 독특한 재고는 배제되며, 일부 패키지 비교는 커버리지가 제한된다. 이 트레이드오프는 인과 추론에 근본적 — 폭넓게 포함하면 표본이 커지지만 편향이 들어오고, 엄격히 매칭하면 타당성이 오르지만 커버리지를 잃는다
  • 제품 함의: 노출 상품이 실제 가치를 만든다 / 집계 지표는 오도적일 수 있다 / 오프라인 인과 프레임워크가 전략적 자산 — 실험 용량이 제한되므로 가격 결정, 패키지 재설계, 노출 할당 전략, 신규 수익화 기능의 영향 예측에 확장 가능한 오프라인 방법이 필수 / 노출은 랭킹과 독립적으로 평가될 수 없다 — 랭킹이 어떤 광고가 가시성을 받을 자격이 있는지 결정하고 노출 상품이 어떤 광고가 추가 가시성을 받는지 결정하므로, 두 메커니즘의 상호작용을 이해하는 것이 수익화 성과뿐 아니라 마켓플레이스 품질·공정성·장기 사용자 신뢰에 결정적
  • 향후: 이질적 treatment effect 추정(어떤 광고가 추가 노출로 가장 이득을 보나 — boost의 가치는 균일하지 않을 것), 더 풍부한 행동 피처·과거 셀러 성과·광고 품질 신호 도입, 실험과 관측 분석 사이의 더 긴밀한 피드백 루프(실험 결과로 오프라인 추정기를 지속적으로 보정)

관련 위키

Source: 원문 보기

그래프 뷰

백링크