AI에 예산을 배정하는 임원이 직접 써보지 않으면 놓치는 세 가지 판단

AI 도구를 직접 써본 임원은 파일럿 범위, 사람 검토 단계, 성과 측정 기준 세 가지를 다르게 설정합니다. 이 차이는 기술 이해가 아니라 실패 패턴을 경험했는가에서 옵니다.
써보지 않은 임원이 배정하는 예산에는 구현 복잡도, 적정 사용 범위, 측정 가능한 성과 기준이 빠지는 경우가 많습니다. 결과적으로 활용률이 제안서의 절반 이하에 그치는 패턴이 반복됩니다.
투자 판단 전에 임원이 직접 해야 하는 경험은 실제 업무 문서 하나를 해당 도구로 처리하고 실패 지점을 직접 찾는 것입니다. 이 30분이 도입 범위 설계를 다르게 만듭니다.

써본 적 없는 기술에 예산을 배정하면 무엇이 빠집니까

제조업 중견기업이 AI 영업 지원 솔루션 도입에 4억 2천만 원을 배정했습니다. 임원진은 벤더의 데모와 팀의 도입 제안서를 기반으로 결정했습니다. 8개월 뒤 실제 활용된 기능은 전체의 28%였습니다. 나머지는 현장 업무에 맞지 않거나 사용 방법을 몰랐습니다. 이 회사의 문제는 솔루션이 나빴던 것이 아닙니다. 의사결정자가 그 도구를 써본 적이 없어서, 어느 기능이 현장 업무에 맞고 어느 기능은 맞지 않는지를 판단할 기준이 없었습니다.

Stanford HAI가 2024년 발표한 AI 인덱스 보고서는 기업 AI 투자와 실제 업무 통합 사이의 간극을 여러 산업 데이터로 정리했습니다. 주목할 패턴은 AI 투자를 늘린 조직과 AI가 실제로 핵심 업무에 통합된 조직 사이의 불일치였습니다. 투자 금액과 활용 깊이는 직선 관계가 아니었습니다. 도구를 직접 써본 의사결정자가 있는 조직에서 이 간극이 좁았습니다. 써보지 않은 의사결정자는 예산을 크게 배정하면서도 실제 사용을 제약하는 범위나 기준을 모르기 때문입니다.

도입 범위와 예산 판단에서 직접 경험이 없을 때 반복되는 세 가지 오류가 있습니다. 첫째, 구현 복잡도를 과소평가합니다. 데모에서 보이는 기능과 실제 업무 데이터를 연결하는 작업 사이에는 상당한 차이가 있습니다. 이 차이는 써보지 않으면 가늠할 수 없습니다. 둘째, 적정 활용 범위를 설정하지 못합니다. 어느 업무에 AI가 효과적이고 어느 업무에서 사람 검토가 필수인지는 실패를 경험해야 압니다. 셋째, 성과 측정 기준이 추상적으로 설정됩니다. 생산성 향상이나 업무 효율화 같은 기준은 도입 6개월 뒤에 달성 여부를 확인할 수 없습니다.

직접 써본 임원이 세 가지를 다르게 결정합니다

직접 써본 임원이 예산을 배정할 때 첫 번째로 다르게 판단하는 것은 파일럿 범위입니다. 전체 도입보다 한 가지 업무에서 실제로 써보는 파일럿 예산을 먼저 확보합니다. 이 판단은 데모에서 보이지 않는 실제 운영 마찰을 먼저 측정하겠다는 결정입니다. 파일럿 없이 전체 도입부터 시작하면 그 마찰이 전체 투자가 집행된 뒤에 드러납니다.

두 번째로 다르게 판단하는 것은 사람 검토 단계의 범위입니다. AI 출력이 어느 수준의 오류를 만드는지를 직접 경험한 임원은, 어느 단계에서 사람의 최종 확인이 반드시 필요한지를 도입 범위 설계에 넣습니다. 이 설계 없이 도구를 도입하면 검토 기준이 사람마다 달라지고, 오류가 나왔을 때 책임 소재가 불분명해집니다.

Ahn Partners 판단: 세 번째 차이는 성과 지표의 구체성입니다. AI를 직접 써본 임원은 생산성 향상이 아닌 계약서 검토 건당 소요 시간이 X분에서 Y분으로처럼 측정 가능한 기준을 설정합니다. 이 기준은 직접 써봐야 가능한 숫자입니다. 써보지 않은 임원이 설정하는 성과 기준은 달성 여부를 판단할 수 없는 경우가 많습니다.

투자 판단 전 임원이 해야 할 경험의 내용

Ahn Partners 판단: 임원이 AI를 직접 써야 하는 자리는 팀과 같은 업무용 도구가 아닙니다. 투자 판단에 앞서 해야 할 경험은 세 가지입니다. 첫째, 도입하려는 도구로 자신의 실제 업무 문서 하나를 처리해봅니다. 벤더가 준 샘플 데이터가 아닌 자신의 데이터로 해야 합니다. 둘째, 그 결과물이 틀렸거나 맞지 않는 부분을 직접 찾아봅니다. 찾는 과정에서 어느 지점이 사람 검토가 필요한지 드러납니다. 셋째, 그 경험을 바탕으로 성과 기준 한 개를 측정 가능한 숫자로 써봅니다.

Davenport와 Mittal이 2023년 저서 All-in on AI에서 정리한 바에 따르면, AI를 실제로 업무에 통합한 기업들의 공통점 중 하나는 경영진이 AI의 실패 패턴을 직접 경험한 사례가 있다는 것이었습니다. 이 경험은 기술 이해가 아니라 현실 보정입니다. 데모와 실제 운영 사이에 있는 간극을 경험한 사람과 경험하지 못한 사람은 도입 범위 설계와 예산 배정에서 다른 판단을 내립니다.

이번 주에 할 수 있는 한 가지 조치가 있습니다. 현재 팀에서 쓰고 있거나 도입을 검토 중인 AI 도구 하나를 골라, 임원이 직접 실제 업무 문서 하나를 처리해봅니다. 결과물을 보면서 어디서 확인이 필요하고 어디서 그대로 쓸 수 있는지를 판단합니다. 이 30분이 6개월 뒤의 도입 범위 설계를 다르게 만듭니다.

한 문장으로 정리하면

AI 투자 결정을 내리기 전에 임원이 직접 써보는 것은 기술 역량이 아니라 판단 보정입니다. 파일럿 범위, 사람 검토 단계, 성과 측정 기준은 그 경험 없이는 올바르게 설정할 수 없습니다. 이번 달 검토 중인 AI 도입 안건이 있다면, 제안서를 읽기 전에 해당 도구를 30분 직접 써보십시오.

점검 목록

현재 검토 중인 AI 도입 예산의 산정 근거에 파일럿 단계에서 측정한 실제 운영 데이터가 포함돼 있는가
AI 도입 성과 기준이 측정 가능한 숫자로 설정돼 있는가, 아니면 효율화나 생산성 향상 같은 추상적 목표로 남아 있는가
도입하려는 도구로 의사결정자가 직접 실제 업무 문서를 처리해보고 실패 지점을 파악한 적이 있는가