- AI 도구 수는 세기 쉽기 때문에 보고 지표로 쓰입니다. 지표가 목표가 되면 그 지표는 좋은 지표로서의 기능을 잃습니다. 팀은 실질 활용보다 숫자를 채우는 방향으로 움직입니다.
- 도구를 도입하는 것과 업무 방식이 바뀌는 것은 다른 사건입니다. 도입 수를 지표로 쓰면 두 번째 사건을 측정하지 않습니다. 마이크로소프트 2024년 Work Trend Index에서 AI 도구 도입 조직 가운데 핵심 업무 프로세스에 통합된 경우는 절반 이하였습니다.
- 실질 AI 전략 진전을 보여주는 지표는 업무 방식이 바뀐 프로세스의 수, AI 출력 실사용 비율, 오류 수정 소요 시간입니다. 세기 어렵기 때문에 실질적입니다.
측정하기 쉬운 것이 목표가 되면 목표가 왜곡됩니다
국내 서비스업 중견기업이 2024년 AI 전략 보고에서 AI 도구 도입 14종, 전년 대비 7종 증가를 성과로 제시했습니다. 같은 보고에서 이 도구들로 업무 방식이 달라진 프로세스 수는 없었습니다. 실제로 사용하는 직원 수도 없었습니다. 도구 도입 비용을 넘는 생산성 변화를 측정한 항목도 없었습니다. 도구 수만 보고에 남았습니다. 이 보고를 받은 경영진은 AI 전략이 진전 중이라는 인상을 받았습니다.
영국 경제학자 찰스 굿하트는 1975년 영국 중앙은행에 제출한 논문에서 하나의 원칙을 제시했습니다. 어떤 지표가 정책 목표가 되면, 그 지표는 좋은 지표로서의 기능을 잃습니다. AI 도구 수가 보고 지표가 되면 팀은 실질 활용보다 도구 도입 수를 채우는 방향으로 움직입니다. 구독 해지 없이 새 도구를 추가합니다. 쓰지 않는 도구가 지표에 남습니다. 숫자는 올라가지만 업무 방식은 그대로입니다. 지표가 목표가 된 결과입니다.
마이크로소프트가 2024년 발표한 Work Trend Index에서 AI 도구를 도입한 조직 가운데 그 도구가 핵심 업무 프로세스에 통합된 경우는 절반 이하였습니다. 도구를 도입하는 것과 업무 방식이 바뀌는 것은 다른 사건입니다. 도입 수를 지표로 쓰는 조직은 첫 번째 사건을 측정하면서 두 번째 사건이 일어났다고 착각합니다.
도구 수 대신 무엇을 측정해야 합니까
AI 전략의 실질 진전을 보여주는 지표는 세 가지 방향으로 설정할 수 있습니다. 첫째는 업무 방식이 바뀐 프로세스의 수입니다. 도구를 도입하기 전과 후에 어떤 판단 단계가 AI를 경유하게 됐는지를 셉니다. 숫자가 있으면 진전이고, 없으면 도구가 있지만 업무 방식은 그대로입니다.
둘째는 AI 출력이 최종 결과물에 포함된 비율입니다. 팀에서 나가는 보고서, 계약서, 고객 제안서 가운데 AI가 생성하거나 검토한 부분이 실제로 사용된 비율입니다. 이것은 활성 사용자 수보다 측정하기 어렵습니다. 그래서 실질적입니다. 셋째는 AI 활용에서 발생한 오류를 수정하는 데 쓴 시간입니다. 이 숫자가 크면 도구가 업무에 맞지 않는 것이거나 검토 단계가 없는 것입니다.
Ahn Partners 판단: 이 세 지표는 이사회 보고에 당장 쓰기 어려울 수 있습니다. 세기 쉽지 않기 때문입니다. 그 어려움이 정확히 왜 도구 수가 보고에 남는지를 설명합니다. 실질 변화를 측정하는 기준을 설정하는 것이 AI 전략의 시작이고, 그 기준이 없으면 도구 수를 세는 것이 전략처럼 보이게 됩니다.
지표를 바꾸면 조직의 움직임이 달라집니다
지표를 바꾸면 경영진이 받는 보고도 달라집니다. 도구 수를 보고하면 무엇이 도입됐는가가 주제입니다. 업무 방식 변화율을 보고하면 무엇이 달라졌는가가 주제입니다. 두 번째 보고에서 경영진은 AI 투자가 실제로 조직에 어떤 변화를 만들었는지를 판단할 수 있습니다.
지표 전환은 팀에도 다른 동기를 만듭니다. 도구 수가 지표이면 팀은 더 많은 도구를 찾아 도입하는 데 시간을 씁니다. 업무 방식 변화율이 지표이면 팀은 지금 있는 도구로 어떤 업무 단계를 바꿀 수 있는지에 집중합니다. 전자는 구독 비용을 키웁니다. 후자는 실제 활용을 키웁니다.
이번 달 할 수 있는 조치 하나가 있습니다. 팀에 도입된 AI 도구 목록을 꺼내고, 각 도구 옆에 그것으로 업무 방식이 달라진 구체적인 프로세스 이름을 하나씩 써봅니다. 이름을 쓸 수 없는 도구는 도입됐지만 사용되지 않는 것입니다. 이 목록이 AI 전략 진단의 시작입니다.
한 문장으로 정리하면
도입한 AI 도구 수는 AI 전략의 진전을 보여주지 않습니다. 업무 방식이 바뀐 프로세스 수가 진전이고, 그 숫자가 없으면 도구는 도입됐지만 전략은 없는 것입니다. 지금 팀의 AI 도구 목록 옆에 바뀐 프로세스 이름을 하나씩 써보십시오.
점검 목록
- 이번 분기 AI 관련 보고에서 도구 수 외에 업무 방식이 달라진 프로세스 수를 포함했는가
- 팀에 도입된 AI 도구 각각에 대해 실제로 업무 방식이 바뀐 구체적 프로세스 이름을 말할 수 있는가
- AI 도구 활용에서 발생한 오류를 수정하는 데 쓴 시간을 측정하고 있는가