지표는 늘어나는데 없애는 기준이 없습니다

지표를 추가하는 것은 제안으로 시작합니다. 지표를 없애려면 없앴을 때 생길 문제를 방어해야 합니다. 이 비대칭 때문에 관제 지표는 한 방향으로만 쌓입니다.
경제학자 찰스 굿하트는 1975년에 측정 지표가 목표로 채택되는 순간 좋은 지표 기능을 잃는다고 분석했습니다. 지표가 많을수록 이 위험에 노출되는 지점이 늘어납니다.
지표를 유지하는 데도 비용이 있습니다. 데이터 수집, 정제, 시각화, 리뷰 준비에 투입하는 시간이 지표마다 누적됩니다. 지난 3개월 동안 아무도 행동하지 않은 지표라도 이 비용은 발생합니다.

지표 하나가 사라지지 않는 이유

어느 중견 제조사의 운영팀은 3년 전 물류 지연이 반복됐을 때 배송 단계별 소요 시간 지표 6개를 추가했습니다. 지연 문제는 1년 안에 해결됐습니다. 지표 6개는 3년째 주간 보고서에 남아 있습니다. 담당자가 매주 이 수치를 입력하고 팀장이 훑어보는 루틴이 아직 작동합니다. 그 시간을 더하면 한 달에 4시간이 지표 유지에 쓰입니다.

지표를 없애자는 제안이 왜 통과되지 않는지 구조가 있습니다. 지표를 추가할 때는 문제가 눈앞에 있고 추가하지 않으면 생길 위험이 분명합니다. 없앨 때는 지금 당장 해가 없고 나중에 필요해질 때 없으면 책임을 져야 합니다. 제안자가 나중의 위험을 혼자 방어해야 하는 구조입니다. 이 비대칭이 지표 무덤을 만듭니다.

지표 무덤의 비용은 두 가지입니다. 첫째는 직접 비용입니다. 데이터를 수집하고 정리하고 시각화하고 공유하는 데 드는 시간과 시스템 자원입니다. 둘째는 신호 손실입니다. 지표가 많을수록 팀이 각 지표에 쏟는 주의력이 분산됩니다. 실제 이상 신호가 20개 지표 중 하나로 묻히면 발견이 늦어집니다.

측정이 목표로 바뀌는 순간 측정은 의미를 잃습니다

영국 경제학자 찰스 굿하트가 1975년에 제시한 원칙이 있습니다. 어떤 측정 지표가 정책 목표로 채택되는 순간 그 지표는 좋은 측정 도구로서 기능을 잃는다는 것입니다. 콜센터 응답 시간을 KPI로 삼으면 직원들이 짧은 통화를 선호하게 되고, 실제 문제 해결 완료율은 낮아집니다. 지표를 최적화하는 것과 지표가 반영하는 현실을 개선하는 것이 분리됩니다.

이 원칙은 지표 수가 많을수록 더 자주 작동합니다. 팀이 추적하는 지표가 5개일 때는 각 지표의 실제 의미를 이해하면서 관리할 수 있습니다. 지표가 30개면 팀은 지표를 깊이 이해하는 대신 숫자를 채우는 방식을 찾습니다. 수치가 정상 범위에 들어오면 넘기고, 이상 범위에 들어오면 이유를 설명하는 문서를 추가합니다. 현실이 개선됐는지와 무관하게 지표 관리는 진행됩니다.

측정 전문가 더글러스 허버드는 측정 대상이 늘어날수록 각 측정 항목에 실질적으로 투입되는 주의력이 반비례해서 줄어든다고 분석했습니다. 12개 KPI에 쏟는 실질 감시 수준이 120개 KPI와 비슷하다는 결론이었습니다. 지표를 두 배로 늘려도 관리 능력이 두 배로 늘지 않습니다.

지표를 없애는 기준 세 가지

지표 폐기 기준을 만들면 '나중에 필요할 수 있다'는 반론을 사전에 처리할 수 있습니다. 기준은 세 가지입니다. 첫째, 이 지표가 마지막으로 경영 결정에 영향을 준 것이 언제인지 확인합니다. 3개월 이상 결정과 무관하게 생산된 지표는 폐기 검토 대상입니다. 둘째, 이 지표가 이미 추적 중인 다른 지표와 높은 상관관계를 갖는지 확인합니다. 같은 정보를 두 개 지표로 관리하고 있다면 하나는 중복입니다. 셋째, 이 지표가 측정하던 문제가 해결됐는지 확인합니다. 해결된 문제를 계속 감시하는 것은 의미보다 관성입니다.

폐기 대신 보관을 선택하는 방법도 있습니다. 지표를 삭제하지 않고 '비활성' 상태로 이동하면 일상 보고서에서는 제외되고 필요할 때 복원할 수 있습니다. '나중에 필요할 수 있다'는 반론에 대한 실질적인 답이 됩니다. 지표 데이터 자체는 보존하되 생산과 리뷰 비용을 없애는 방식입니다.

분기에 한 번 지표 전체 목록을 검토하는 세션을 두면 지표 무덤이 방지됩니다. 이 세션에서 각 지표에 대해 세 가지 기준을 적용합니다. 기준을 통과하지 못한 지표는 비활성으로 이동합니다. 이 세션이 없으면 지표는 추가할 이유가 항상 있고 없앨 이유는 아무도 만들지 않습니다.

지표를 없애는 것이 데이터 역량의 표시입니다

Ahn Partners 판단: 지표를 늘리는 것은 문제에 반응하는 능력입니다. 지표를 없애는 것은 무엇이 실제로 중요한지를 판단하는 능력입니다. 관제 지표가 해마다 늘어나는 조직은 전자만 갖고 있습니다.

데이터 기반 경영을 강화하겠다는 방향이 지표 추가로만 실행되는 경우가 많습니다. 새로운 대시보드를 만들고, 새로운 KPI를 설정하고, 새로운 보고 형식을 도입합니다. 그러나 데이터 기반 경영의 실질은 더 많은 지표를 관리하는 것이 아니라 적은 지표로 더 빠르게 결정하는 것입니다. 지표를 없애는 결정이 지표를 추가하는 결정만큼 데이터 기반 경영에 속합니다.

이번 달에 점검할 것은 하나입니다. 지금 보고서에 있는 지표 중에서 지난 3개월 동안 실제 경영 결정에 반영된 것이 몇 개인지 세어보십시오. 그 수가 전체의 절반에 못 미친다면, 나머지 절반은 비활성 후보입니다.

점검 목록

현재 정기 보고서에 있는 지표 중에서 지난 3개월 동안 실제 결정에 반영된 것이 몇 개인지 확인했는가
지표를 폐기하거나 비활성으로 이동하는 기준과 절차가 지금 팀에 존재하는가
분기에 한 번 지표 전체 목록을 점검하는 세션이 일정에 잡혀 있는가