광고를 끈 지 두 달쯤 되면 어김없이 이 질문이 옵니다. "다시 켜면 목표 단가 맞출 수 있어?" 대시보드를 열면 설치단가가 버젓이 적혀 있긴 합니다. 문제는 그 숫자가 광고를 클릭한 사람만 센 귀속 CPI라는 거죠. 광고가 없었어도 왔을 사람이 몇 명인지는 한마디도 안 해 줍니다.

이 글은 예산이 0원이 되면서 반강제(?)로 얻게 된 17개월짜리 홀드아웃 데이터로, 그 질문에 대한 답을 기어코 찾아낸 기록입니다. 광고비가 0 → 최대 → 0으로 움직인 기간을 자연 홀드아웃 삼아 광고가 실제로 더 만든 설치, 그러니까 증분을 계산했습니다. 결론은 두 가지였습니다. 증분 CPI는 귀속 CPI의 1.12배였고, 그 숫자는 가정 6개 위에 아슬아슬하게 서 있습니다. 글 끝에 가정 점검표와 보고 문장을 두었고요. 수치는 전부 비율과 지수로만 적었습니다.

핵심 요약

• 광고를 껐다 켠 기록이 있으면 추가 예산 없이 증분 CPI가 나옵니다. 대시보드의 귀속 CPI는 광고끼리 비교할 때만 쓰고, 켤지 말지와 얼마 쓸지는 증분으로 정합니다.
• 결과변수에서 제휴 유입은 빼고 오가닉은 남깁니다. 제휴를 넣으면 광고 효과가 묻히고(−62%), 오가닉을 빼면 광고를 껐을 때 결과가 정의상 0이라 계산이 아니라 정의입니다.
• 이 사례의 증분 CPI는 귀속의 1.12배였습니다. 다만 신뢰구간이 목표선을 걸쳐 "다시 켜면 목표를 맞춘다"고는 말하지 못했고, 가장 큰 미확인은 광고비와 같이 줄어든 경품비였습니다.

목차

1. 귀속 CPI는 "광고 덕분인가"에 답하지 못한다
2. 광고를 켰다가 끈 기록이 있으면 준실험이 된다
3. 결과변수: 제휴는 빼고 오가닉은 남긴다
4. 계산은 3단계, 하루치는 손으로 검산된다
5. 이 숫자는 가정 6개 위에 서 있다
6. 검정 3개, 그리고 처음 판단을 뒤집은 실수
7. 결과: 귀속의 1.12배, 그러나 재개 단정은 이르다
8. 싸게 데려온 유저가 좋은 유저는 아니었다
9. 복사해서 쓰는 가정 점검표와 보고 문장
10. 자주 받는 질문

1. 귀속 CPI는 "광고 덕분인가"에 답하지 못한다

MMP는 광고 클릭에 식별자를 붙여 두고, 그 사람이 기간 안에 앱을 설치하면 그 광고의 성과로 기록합니다. 광고비를 이렇게 센 설치 수로 나눈 값이 귀속 CPI입니다. 소재 비교와 타깃 비교에는 이 값이 맞습니다. 모든 광고를 같은 규칙으로 세기 때문입니다.

문제는 광고가 전환할 것 같은 사람에게 먼저 붙는다는 점이에요. 그게 매체 알고리즘이 하는 일이니까요. 그래서 "광고를 본 사람이 많이 설치했다"는 사실은 "광고 때문에 설치했다"의 증거가 아닙니다. 어차피 설치할 사람에게 광고가 붙었을 수도 있습니다. 리타게팅이 극단적인 예입니다. 이미 관심을 보인 사람에게 다시 보여 주니 귀속 단가가 가장 좋게 나오지만, 그중 상당수는 광고가 없어도 돌아왔을 사람입니다.

이건 도구 결함이 아닙니다. 클릭 기록만으로는 원리적으로 구분이 안 되는 거라서요. 그래서 역할을 나눕니다. 광고끼리 비교는 귀속 CPI로, 광고를 할지 말지와 얼마를 쓸지는 증분으로 정합니다.

2. 광고를 켰다가 끈 기록이 있으면 준실험이 된다

증분은 광고가 없었을 때와 비교한 차이입니다. 가장 정확한 방법은 사람을 무작위로 나눠 한쪽에만 광고를 보여 주는 실험이지만, 이 앱은 집행 예산이 0이라 실험 자체를 만들 수 없었습니다. 대신 데이터에 다른 게 남아 있더군요. 광고비가 0에서 시작해 정점을 찍고 다시 0으로 돌아온 17개월. 이런 변동폭은 일부러 만들려면 큰돈이 듭니다. 예산이 끊긴 게 측정 입장에서는 유일한 이득이었던 셈입니다.

이 기록을 준실험으로 읽었습니다. 증분 = 실측 − 반사실이고, 반사실은 같은 날 같은 요일·계절·제휴 조건에서 매체비만 0으로 바꿨을 때 모델이 예측하는 값입니다. 실제로 매체비가 0이었던 마지막 55일에 두 선이 붙으면 반사실이 맞다는 신호입니다. 이 55일이 자연 홀드아웃입니다.

다른 방법을 먼저 검토하고 버린 이유도 적어 둡니다. 보고 자리에서 "왜 하필 이 방법이냐"는 질문이 꼭 나오는데, 이 표 한 장으로 넘어갔습니다.

준실험의 대가도 같이 옵니다. 대조군을 직접 만든 것이 아니라서 같은 시기에 함께 변한 다른 요인과 섞일 수 있습니다. 그래서 검정을 여러 번 겁니다(6번 항목).

3. 결과변수: 제휴는 빼고 오가닉은 남긴다

무엇을 셀지가 결론을 바꿨습니다. 같은 기간, 같은 데이터인데 결과변수만 바꿨더니 정반대 해석이 나오더라고요. 처음 총 가입 숫자를 봤을 때는 솔직히 "광고 없어도 되네?" 싶었습니다.

차이는 제휴 유입이었습니다. 제휴 채널로 들어오는 가입이 광고 중단과 무관한 이유로 같은 시기에 급증해 총량을 가렸습니다. 메타·구글 광고가 만든 유입이 아니므로 결과변수에서 뺐습니다. 넣어 두면 광고 효과가 묽어져 보입니다.

오가닉은 반대로 남겼습니다. 광고 귀속분만 결과변수로 두면 광고를 껐을 때 결과가 정의상 0이 됩니다. 그러면 "광고가 전부 만들었다"는 답이 자동으로 나오죠. 그건 계산이 아니라 그냥 정의입니다. 광고가 하나도 없을 때 몇 명이 오는지를 알려 주는 단서는 오가닉뿐이고, 그 값이 결과변수 안에 있어야 바닥값을 실측으로 채점합니다.

가입이 아니라 설치를 주 지표로 쓴 이유도 있습니다. 가입 이벤트의 집계 정의가 처치 기간 한복판에 두 번 바뀌었습니다. 숫자가 줄어든 것이 광고 때문인지 정의 때문인지 갈라지지 않습니다. 설치는 전 기간 같은 기준이었습니다. 전환 이벤트 정의를 바꿀 때 측정 창과 겹치지 않게 하라는 교훈이 여기서 나옵니다.

4. 계산은 3단계, 하루치는 손으로 검산된다

1단계. 일별 표를 만든다. 날짜마다 그날 쓴 매체비(메타·구글·기타)와 그날 설치 수를 512일치 정리합니다. 통제변수로 제휴 가입 수, 프로모션 세대, 요일, 공휴일을 같이 둡니다.

2단계. 관계식을 뽑는다. 매체비가 늘면 설치가 얼마나 느는지를 회귀로 구합니다. 광고 여운(adstock)은 하루 지나면 절반으로 줄어드는 것으로 두었습니다. 감쇠율 0, 0.3, 0.5를 시험해 예측이 가장 잘 맞는 값을 골랐습니다. 여운 때문에 총효과는 당일 계수의 2배입니다.

3단계. 매체비만 0을 넣는다. 같은 식에서 매체비 세 항만 0으로 바꾸면 "광고를 안 썼다면"의 값이 나옵니다. 예측값에서 이 값을 뺀 것이 그날 증분이고, 그날 매체비를 증분으로 나누면 그날 증분 CPI입니다.

쓴 도구. 거창한 솔루션은 없었습니다. 일별 표는 내부 DB에 SQL을 날려 MMP 광고비 원장과 설치 테이블을 날짜 기준으로 붙인 뒤 CSV 한 장으로 떨어뜨렸습니다. 관계식은 파이썬의 statsmodels로 보통최소제곱(OLS) 회귀를 돌렸고, 날짜 데이터라 잔차가 서로 이어지는 문제를 줄이려고 표준오차는 HAC(Newey-West, 7일) 방식으로 계산했습니다. 광고 여운과 사양 비교는 수십 줄짜리 스크립트로 반복 실행했습니다. 스프레드시트로도 됩니다. 일별 표를 만들고 LINEST 함수로 회귀계수를 구한 뒤 매체비 열에 0을 넣어 반사실을 계산하면 같은 흐름입니다. 다만 여운 반영과 표준오차 보정은 시트에서 번거로우니, 사양을 여러 개 비교할 계획이면 파이썬이 편합니다.

하루치를 지수로 따라가면 이렇습니다. 그날 모델 예측을 100으로 둡니다.

채널별 계수는 메타를 1.0으로 두면 구글 0.81, 기타 0.64였습니다. 같은 돈으로 메타가 가장 많은 설치를 만들었다는 뜻이고, 세 계수 모두 통계적으로 유의했습니다. 반대로 "친구초대 프로모션 세대 전환" 변수는 유의하지 않았습니다. 확인하지 못한 것은 확인하지 못했다고 적습니다.

5. 이 숫자는 가정 6개 위에 서 있다

증분은 광고 없는 세상을 관찰한 값이 아니라 계산한 값입니다. 아래 가정 중 하나가 틀리면 숫자가 움직여요. 그래서 어느 방향으로 움직이는지까지 적어야 읽는 사람이 쓸 수 있습니다. 이 표를 안 붙이고 1.12배만 들고 가면 회의에서 바로 털립니다.

4번과 6번은 반대 방향입니다. 상쇄 가능성은 있지만 크기를 모르므로 신뢰구간을 좁히지는 못합니다. 가장 큰 건 6번입니다. 경품비 쪽이 틀리면 증분 CPI는 지금 값보다 커집니다. 분석 내내 제일 찜찜했던 자리이기도 하고요. 이 글에서 "확인된 사실"이 아니라 "가능성이 높은 해석"으로만 쓰는 이유가 이 표입니다.

6. 검정 3개, 그리고 처음 판단을 뒤집은 실수

관계식이 엉터리가 아닌지 세 가지로 확인했습니다. 하나라도 떨어진 사양은 숫자가 나와도 버렸습니다.

① 플라시보 검정. 아무 일 없던 날을 "여기서 껐다 치자"고 넣어 봅니다. 거기서도 큰 효과가 나오면 방법이 잘못됐다는 뜻입니다. 1차 분석에서는 플라시보가 −38.5%나 나와서 "아, 이 방법은 못 쓰겠구나" 하고 개입분석을 통째로 엎을 뻔했습니다. 그런데 알고 보니 검정 설계부터 틀려먹은 상태였습니다. 가짜 개입일의 사후 구간에 진짜 처치 기간이 통째로 들어가 있었던 겁니다. 실제 효과를 플라시보 효과로 읽고 있었던 거죠. 사후 구간을 처치 전으로 제한해 다시 돌리자 실제 개입만 −65.6%, 플라시보 두 개는 +26.5%와 +10.8%로 부호가 반대였습니다. 통과. 멀쩡한 방법을 하마터면 버릴 뻔했습니다. 검정 설계가 틀리면 결론도 같이 틀립니다.

② 홀드아웃 채점. 매체비가 0이던 55일을 모델이 맞히는지 봅니다. 예측이 실측의 85%였습니다. 15% 과소 예측이라 한계적 통과예요. 썩 만족스러운 숫자는 아닙니다. 바닥값을 적게 잡으면 증분이 커지는 방향이므로 결과 해석에 이 편향을 같이 적었습니다.

③ 뒷부분 예측(out-of-sample). 앞 6개월만 학습시키고 집행이 급감한 뒤 3개월을 맞히게 합니다. 여기서 탈락한 사양이 각각 발견이었습니다.

학습 구간 적합도(adjusted R²)만 보고 사양을 골랐다면 경품비를 넣은 사양이 더 좋아 보였을 겁니다. 그 사양은 정반대 결론을 냅니다. 여기서 한 번 더 식은땀이 났습니다. 사양은 맞힌 정도가 아니라 못 본 구간을 맞히는 정도로 고릅니다.

7. 결과: 귀속의 1.12배, 그러나 재개 단정은 이르다

대시보드의 귀속 CPI를 100으로 두면 결과는 이렇습니다.

대시보드가 약 12% 낙관적이었다는 뜻입니다. 생각보다 크게 틀리지는 않았더군요. 월별로 보면 증분이 설치의 거의 전부였습니다. 제휴를 뺀 앱 유입은 사실상 광고가 만들고 있었고, 광고를 모두 끈 55일의 자력 유입은 집행기의 8% 수준이었습니다.

채널 순서는 메타, 구글, 기타였고 집행액도 메타가 가장 컸습니다. 배분 방향은 측정 결과와 맞았습니다.

그런데 판단은 보류였습니다. 여기가 제일 아쉬운 대목입니다. 전체 증분 CPI는 목표를 8% 넘고 메타는 6% 밑돌지만, 세 비교 모두 신뢰구간이 목표선을 걸칩니다. "다시 켜면 목표를 맞춘다"고도 "못 맞춘다"고도 말하지 못합니다. 신뢰구간이 목표선을 포함하면 보류라는 규칙을 미리 정해 두었고, 그대로 따랐습니다.

대조군이 없는 관측 분석이므로 이 글 어디에도 "효과 확인"이라고 쓰지 않았습니다. "추정"과 "~로 본다"까지입니다.

8. 싸게 데려온 유저가 좋은 유저는 아니었다

증분 CPI만 보면 판단이 반쪽입니다. 데려오는 값이 싸도 그 사람이 앱을 안 쓰면 소용이 없습니다. 설치 후 30일 안에 다시 쓴 비율을 채널별로 붙여 봤습니다.

메타는 양쪽 다 좋았습니다. 30일 활성률 56.9%로 가장 높고 증분 CPI도 가장 낮았습니다. 반면 한 리워드 매체는 데려온 단가가 메타의 4분의 1 수준으로 가장 쌌지만 활성률이 16.1%였고, 30일 가치는 메타의 3분의 1이 안 됐습니다. 단가표만 보고 이 매체를 늘렸다면 꼼짝없이 손해였습니다.

주의할 점이 있습니다. 활성률과 30일 가치는 다른 파이프라인에서 다른 기간·코호트로 계산한 값이라 증분 CPI와 한 표에 놓고 나누거나 곱하면 안 됩니다. 30일 가치도 앱 내 행동에 가중치를 준 프록시이지 매출이 아닙니다. 그래도 방향은 분명합니다. 재개 시 채널 판단은 증분 CPI와 유저 품질을 함께 봅니다.

9. 복사해서 쓰는 가정 점검표와 보고 문장

가정 점검표. 증분이든 MMM이든 모델로 구한 숫자를 보고할 때 이 표를 채워서 붙입니다. "틀렸다면" 열이 비어 있으면 아직 보고할 준비가 안 된 상태입니다.

[보고 문장 예시] 광고비가 정점에서 0으로 간 17개월 데이터로 증분 설치단가를 추정했습니다. 제휴를 제외한 설치는 광고 중단 뒤 94% 줄었고, 광고비 0인 55일의 자력 유입은 집행기의 8% 수준입니다. 증분 설치단가는 대시보드 귀속 단가의 1.12배(신뢰구간 0.88~1.54배)로, 목표 단가(귀속의 1.04배)가 구간 안에 있어 재개 시 목표 달성을 단정하지 못합니다. 채널별로는 메타가 목표 아래, 구글과 기타는 위이며, 메타는 30일 활성률도 가장 높습니다. 가장 큰 미확인은 광고비와 같은 시기에 줄어든 경품비로, 이 효과가 광고 몫에 섞였다면 증분 단가는 지금보다 높습니다. 다음 측정에서는 경품비를 광고비와 다른 시점에 조정해 둘을 분리하겠습니다.

위 문장의 숫자는 이 사례 값이고, 실제로 쓸 때는 자기 값으로 바꿉니다. 보고 문장에 꼭 들어가야 하는 것은 무엇을 셌는지(결과변수), 귀속 대비 몇 배인지, 신뢰구간이 목표선을 포함하는지, 가장 큰 미확인 가정이 무엇인지, 다음에 무엇을 바꾸는지 다섯 가지입니다.

다음 측정을 위한 운영 규칙. 이 사례에서 가장 아쉬웠던 건 분석 방법이 아니라 운영이었습니다. 데이터를 까 보고 나서야 "그때 이렇게 해 둘걸" 싶은 것들입니다.

• 경품비, 프로모션 예산처럼 유입을 움직이는 다른 비용은 광고비와 다른 시점에 조정합니다. 같이 줄이면 영영 분리되지 않습니다.
• 전환 이벤트의 집계 정의는 측정 기간 동안 고정합니다. 바꿔야 하면 새 이벤트를 먼저 띄우고 구 이벤트와 몇 주 병행합니다.
• 내부 가입 원장에 유입 채널 열을 남깁니다. MMP 가입 수와 원장 가입 수가 어긋날 때 중복 가입 때문인지 확인하는 유일한 방법입니다.

10. 자주 받는 질문

"광고를 끈 적이 없는데도 이 방법이 되나요?"
집행액 변동폭이 없으면 안 됩니다. 늘 비슷하게 쓰면 돈과 결과의 관계선을 그릴 수 없습니다. 그 경우는 매체의 리프트 실험이나 지역 분할 실험으로 대조군을 만들어야 합니다. 거꾸로 말하면, 예산이 크게 줄었던 기간은 측정 기회예요. 다른 변화가 쌓이기 전에 써야 합니다. 시간이 지날수록 이 창은 닫힙니다.

"MMM이랑 뭐가 다른가요?"
같은 계열입니다. 다만 채널 2개, 관측 17개월 규모에서 MMM을 단독으로 돌리면 신뢰구간이 넓어 "켤까, 얼마나"에 답하지 못합니다. 이 사례에서는 증분 추정치를 먼저 구하고, MMM은 그 값을 사전값으로 넣어 나중에 돌리는 순서로 두었습니다.

"그럼 매체 대시보드 CPA는 버리나요?"
아닙니다. 소재와 타깃을 비교할 때는 그대로 씁니다. 광고끼리 같은 규칙으로 세기 때문입니다. 버리지 않고 질문에 따라 쓰는 숫자를 나눕니다. 이 구분은 매체와 MMP 설치 수가 다를 때의 점검 순서 글의 기준선 정하기와 같은 원칙입니다.

---

[작성자 및 콘텐츠 정보]

• 최종 수정일: 2026년 10월 15일 (최초 발행일과 동일)
• 사례 범위: 한 앱의 17개월 집행·설치 데이터. 수치는 비율과 지수로만 적었고 서비스와 매체 파트너를 드러내는 정보는 뺐습니다.
• 분석 성격: 대조군이 없는 관측 분석이며 결과는 추정값입니다. 가정 6개와 검정 결과는 본문 5·6번 항목에 있습니다.
• 작성 방식: 초안 정리에 AI를 썼고, 수치와 계산은 분석 원본에서 직접 확인했습니다.

댓글로 알려 주세요. 광고를 줄이거나 껐던 기간이 있으신가요? 그 기간의 길이와 그때 같이 바뀐 것(프로모션, 제휴, 앱 개편)을 적어 주시면 이 방법을 쓸 수 있는지 같이 보겠습니다.

👉 함께 읽으면 좋은 실무 글

• 매체와 MMP 설치 수가 20% 넘게 다를 때 점검 순서 5가지 (발행 후 URL 확인)
• [후속 글 발행 후 실제 제목과 URL로 교체: 플라시보 검정을 이렇게 설계하면 틀린다]

매체와 MMP의 설치 수, 왜 다를까요?
먼저 두 화면의 집계 기준부터 맞춰보세요.

출근해서 대시보드를 열었는데 메타에는 설치 1,000건, 에어브릿지에는 750건이 찍혀 있습니다. “250건은 어디 갔지?” 보고를 앞두고 있다면 더 신경 쓰이는 숫자죠. 다만 누락을 의심하기 전에, 두 화면이 같은 기준으로 설치를 세고 있는지부터 확인해야 합니다.

둘 다 ‘설치’라고 적혀 있어도 집계 범위는 다를 수 있습니다. 한쪽은 전체 설치, 다른 쪽은 메타 광고가 기여한 설치만 보여줄 수도 있죠. 여기에 기여 기간, iOS 데이터 지연, 재설치 기준까지 다르면 차이는 더 벌어집니다.

그렇다고 “원래 수치가 안 맞습니다”로 끝내기는 어렵습니다. 어디서 차이가 났고, 무엇을 더 확인할지까지 설명해야 하니까요. 아래 다섯 가지를 차례로 점검해보세요. 마지막에는 비교 예시와 복사해서 쓸 수 있는 보고 문장도 넣었습니다.

SKAdNetwork무엇인가?(SKAdNetwork)

SKAdNetwork 읽는 방법은 '에스케이애드네트워크' 또는 '스캣넷웕'이라고도 하던데 나는 그지같은넷웕으로 읽기로 했음

iOS 14.5 전후의 IDFA 획득 방법의 변화

특징

>> 이벤트가 발생했을 때 타이머가 작동하므로 설치 시점과 애드네트워크에 포스트백에는 24시간의 텀이 있음

 

 페이스북 앱 광고 진행 시 앱 데이터 연결이 필수이다.

페이스북 앱을 먼저 등록 후, 데이터 소스 연결을 통해 MMP를 연동할 수 있다.

혁신의숲이라는 아주 혁신 적인 서비스가 있어서 소개한다.

혁신의 숲

혁신의숲 서비스소개

고객/인사 데이터까지 모아서 보여주는 플랫폼이다.

페이스북 앱 등록 방법

facebook 가이드  확인

- facebook developer 계정 로그인 > 상단 메뉴 `내 앱` > `앱 만들기

- 앱 대시보드 > 기본설정 > 스크롤 후 보이는 플랫폼 추가

화면에서 구글&iOS 정보 입력