Bottom line
대시보드를 만들었는데 결정이 바뀌지 않는다면, 데이터가 부족해서가 아닙니다. 지표가 결정 주체, 회의체, 행동에 연결되어 있지 않아서입니다. 저는 차량 관제센터를 직접 운영하면서 이걸 배웠습니다.
결정 주체와 행동에 연결되지 않은 지표는 장식입니다.
화면을 늘리다가 배운 것
관제센터를 처음 만들 때 저희도 욕심을 부렸습니다. 수집되는 데이터를 최대한 다 화면에 올렸습니다. 운행 상태, 위치, 이력, 각종 통계. 화면은 근사했습니다.
그런데 몇 달 지나 확인해 보니, 실제 결정에 쓰이는 지표는 손에 꼽았습니다. 나머지는 보는 사람도 없었습니다. 그때 알았습니다. 데이터 설계는 더하는 일이 아니라 덜어내는 일이라는 걸요. 결정에 쓰이지 않는 지표는 화면에서 내렸고, 남은 지표에는 임계값과 대응 행동을 붙였습니다. 그제야 관제가 모니터링이 아니라 운영이 됐습니다.
지표를 내리던 날
화면을 내리는 결정은 생각보다 어려웠습니다. 만든 사람이 있고, 요청한 부서가 있으니까요. 저희는 회의에서 화면을 하나씩 띄워 놓고 같은 질문을 했습니다. 이 화면을 보고 지난달 바꾼 결정이 무엇인가. 답이 나오면 남기고, 침묵이 길어지면 내렸습니다.
정작 달라진 건 내리고 나서였습니다. 없어져서 문제가 된 화면이 거의 없었습니다. 몇 달 동안 아무도 다시 찾지 않았습니다.
남은 화면에는 오히려 요구가 붙기 시작했습니다. 임계값을 조정해 달라, 담당자 알림을 붙여 달라. 지표가 결정에 연결되니까 조직이 지표를 다듬기 시작했습니다. 장식이었을 때는 아무도 손을 대지 않았습니다.
결정을 바꾸는 지표의 네 가지 조건
그 뒤로 저는 지표를 만들 때 네 가지를 확인합니다.
| 조건 | 확인 질문 | 비어 있으면 |
|---|---|---|
| 주인 | 이 지표로 결정하는 사람이 정해져 있는가 | 아무도 반응하지 않음 |
| 주기 | 매일 아침인가, 주간 회의인가 | 어쩌다 한 번 열람 |
| 임계값 | 어느 선을 넘으면 움직이는가 | 보고도 판단이 안 됨 |
| 행동 | 넘었을 때 무엇을 하는가 | 회의만 늘어남 |
네 가지 중 하나라도 비어 있으면 그 지표는 장식입니다. 네 가지가 채워진 지표는 몇 개만 있어도 조직이 움직입니다.
대시보드 감사를 해 보세요
지금 있는 대시보드를 열고 화면마다 물어보세요. "지난달 이 화면을 보고 바꾼 결정이 무엇인가?" 답이 나오지 않는 화면이 절반을 넘는 경우가 많습니다. 그 화면들을 만들고 유지하는 데 들어간 비용을 생각하면, 데이터 투자의 우선순위가 달라집니다.
지표를 줄이면 불안하다는 분들께
화면을 내리자고 하면 꼭 나오는 걱정이 있습니다. 나중에 필요하면 어떡하냐는 겁니다. 화면을 내리는 거지, 데이터를 지우는 게 아닙니다. 원본 데이터는 그대로 쌓입니다. 필요해지면 화면은 하루면 다시 만듭니다.
반대로 안 보는 화면을 유지하는 비용은 눈에 안 보일 뿐 계속 나갑니다. 화면이 많을수록 정작 봐야 할 지표의 자리가 좁아지는 비용까지요.
체크 질문
- 우리 대시보드에서 결정 주체가 정해진 지표는 몇 개인가요.
- 지난달 데이터를 보고 실제로 바꾼 결정이 있나요.
- 임계값과 대응 행동까지 정의된 지표가 있나요.