쌓이는 데이터와 돈이 되는 데이터는 다릅니다

Bottom line

데이터는 자산이라는 말, 자주 듣습니다. 저는 차량 운행 데이터를 몇 년 동안 쌓고 써 보면서 다르게 배웠습니다. 결정을 바꾸는 데이터만 자산이고, 나머지는 비용입니다.

쓸 계획이 없는 데이터는 자산이 아니라 매달 나가는 고정비입니다.

쌓는 것은 쉽고 쓰는 것은 어렵습니다

센서를 달고, 로그를 남기고, 기록을 모으는 일은 생각보다 쉽습니다. 쌓이는 걸 보면 뿌듯하기도 합니다. 뭔가 준비되고 있다는 느낌이 들거든요.

그런데 그 느낌에는 청구서가 따라옵니다. 저장 비용, 관리 인력, 정제 작업. 데이터는 쌓는 순간부터 돈을 씁니다. 쓸 계획이 없는 데이터라면 자산이 아니라 매달 나가는 고정비입니다.

돈이 된 데이터의 공통점

저희가 모은 운행 데이터 중에 실제로 가치를 만든 것은 일부였습니다. 공통점은 하나, 특정한 결정에 연결되어 있다는 점이었습니다. 정산 기준을 정하는 데, 배차를 조정하는 데 붙어 있던 데이터들이요. 이런 것들은 모으는 비용보다 쓰임새가 컸습니다.

반대로 언젠가 쓸 것 같아서 모은 데이터는 몇 년이 지나도 그 언젠가가 오지 않았습니다.

수집 전에 물어야 할 세 가지

• 이 데이터가 바꿀 결정은 구체적으로 무엇인가.
• 이 데이터가 없으면 그 결정을 못 하는가, 아니면 어차피 같은 결정을 하는가.
• 정제와 품질을 책임질 사람이 있는가.

세 질문에 답이 없으면 수집을 시작하지 않는 편이 낫습니다. AI 시대라 데이터가 더 중요해졌다고들 하지만, 그럴수록 품질이 먼저입니다. 품질 없는 데이터는 AI에 넣어도 품질 없는 답이 나옵니다.

이미 쌓아 둔 데이터는

결정에 연결되지 않는 수집은 멈추는 게 맞습니다. 아까워 보이지만, 계속 쌓는 비용이 더 큽니다. 데이터에도 다이어트가 필요합니다. 줄이고 나면 남은 데이터의 품질에 쓸 여력이 생깁니다.

줄이고 나서 알게 된 것

저희도 수집을 줄여 봤습니다. 기준은 단순했습니다. 최근 몇 달 안에 결정에 쓰인 적이 있는가.

남긴 데이터에는 바로 변화가 생겼습니다. 정제에 쓰는 시간이 줄고, 오류를 발견하는 속도가 빨라졌습니다. 관리하는 종류가 줄었으니 당연한 일입니다.

뜻밖의 변화도 있었습니다. 새 수집 요청이 들어올 때 회의의 질문이 바뀌었습니다. 예전에는 모을 수 있는가를 물었습니다. 지금은 어떤 결정에 쓸 것인가를 묻습니다. 질문이 바뀌니까 쌓이는 데이터도 달라졌습니다.

AI 학습용으로라도 모아 둬야 하지 않나요

요즘은 이 반문이 제일 많습니다. AI 시대니까 일단 다 모아 두면 언젠가 학습에 쓰지 않겠느냐는 겁니다.

제 경험으로는 순서가 또 반대입니다. AI 학습이야말로 품질이 먼저입니다. 목적 없이 모은 데이터는 결측이 많고, 기준이 제각각이고, 무엇을 뜻하는지 아는 사람도 없습니다. 그런 데이터는 학습에 쓰려는 순간 정제 비용이 수집 비용을 넘어섭니다. 어떤 결정에 쓸지 정하고 모은 데이터가 결국 AI에도 먼저 들어갑니다.

체크 질문

• 우리가 모으는 데이터 중 최근 석 달 안에 결정에 쓰인 것은 몇 종류인가요.
• 언젠가 쓰겠지 하며 쌓기만 하는 데이터는 무엇인가요.
• 데이터 수집을 시작할 때 어떤 결정을 바꿀지 적게 하고 있나요.