CHEAP TRUTH

신사업 예산은 성공이 아니라 오답을 사는 돈입니다

좋은 실험은 성공을 축하하는 장치가 아니라 가장 위험한 가설을 가장 싸게 틀려 보는 장치입니다.

이 글의 핵심

  • 실험 예산은 기능을 만드는 돈이 아니라 불확실성을 줄이는 돈입니다.
  • 시작 전에 계속·수정·중단 기준을 합의해야 매몰비용이 판단을 납치하지 못합니다.
  • 한 실험에서는 고객 문제, 지불 의사, 반복 사용 중 가장 위험한 가설 하나만 검증해야 합니다.
작게 성공하지 말고 싸게 틀리십시오CEO RULE

보기 좋은 파일럿보다 다음 큰 투자를 막거나 정당화할 수 있는 명확한 오답이 더 가치 있습니다.

신사업 파일럿은 자주 “작은 성공”을 만들도록 설계됩니다. 우호적인 고객을 고르고, 기능을 많이 넣고, 만족도 높은 문장을 보고합니다. 그러나 이 성공은 다음 10억 원 투자를 판단할 질문에 답하지 못할 수 있습니다.

영국 정부의 2026 Test and Learn 지침은 시험 전에 우선 가설과 의사결정 기준을 정하고, 계속·수정·중단 판단을 사전 기준에 따라 내리라고 권합니다. 이미 쓴 시간과 돈 때문에 가능성 낮은 안을 계속하는 편향을 막기 위해서입니다.

예산이 사야 할 것은 기능이 아니라 정보입니다

같은 5천만 원으로 기능 다섯 개를 만들 수도 있고, 고객이 실제로 돈을 낼지 확인할 수도 있습니다. 전자는 자산처럼 보이지만 가설이 틀리면 폐기비용이 됩니다. 후자는 다음 투자를 막거나 앞당기는 정보를 줍니다.

예산안 첫 줄에 “이 돈으로 어떤 불확실성을 없애는가”를 쓰십시오. 답이 세 개 이상이면 실험을 나눠야 합니다.

가장 위험한 가설부터 고르십시오

문제가 존재하는지, 고객이 돈을 낼지, 반복해서 쓸지, 우리가 제공할 수 있는지는 서로 다른 질문입니다. 만들기 쉬운 기능부터 시험하면 가장 위험한 시장 가설이 마지막까지 남습니다.

가설을 “주어진 자료로, 무엇을 할 수 있는지, 그래서 어떤 행동이 바뀌는지” 한 문장으로 쓰십시오. 측정할 행동이 없으면 아직 시험 가능한 가설이 아닙니다.

중단 기준은 시작 전에만 정직합니다

파일럿이 시작된 뒤에는 팀의 자존심, 고객 관계, 이미 쓴 예산이 개입합니다. 그래서 결과를 보기 전에 계속·수정·중단 기준을 합의해야 합니다.

예를 들어 4주 안에 세 고객 중 두 곳이 다음 사용 날짜를 잡지 않으면 기능 추가가 아니라 문제 가설을 다시 본다고 적습니다. 중단은 실패가 아니라 더 비싼 오답을 사지 않는 결정입니다.

실험 보고서는 한 장이면 됩니다

가설, 가장 위험한 전제, 관찰한 행동, 결정, 다음 예산 다섯 칸이면 충분합니다. 기능 목록과 활동 사진이 앞에 오면 학습보다 홍보가 앞선 것입니다.

고객의 다음 약속을 가장 강한 증거로 보고, 남은 코드와 데이터의 정리비까지 실험비에 포함하십시오. 끝내는 비용을 빼면 모든 실험은 실제보다 싸게 보입니다.

이번 주에 확인할 것

  • 예산이 줄일 불확실성이 한 문장으로 적혀 있는가
  • 결과를 보기 전에 계속·수정·중단 기준을 합의했는가
  • 실험 종료 뒤 코드·데이터·고객 안내 비용이 포함됐는가

근거와 더 읽을 자료

  1. GOV.UK, Test and Learn guidance. 원문 보기
  2. UK Department for Business and Trade, Rapid AI experiment lessons. 원문 보기