- 벤더 데모의 성과 지표는 최적 조건에서 나옵니다. 실제 업무에는 비정형 입력, 예외, 부서 간 이관이 있어 결과가 다릅니다.
- 데모 조건과 실제 업무 조건의 차이는 세 가지입니다. 데이터 품질, 업무 흐름의 복잡성, 기존 시스템 연동입니다.
- 계약 전 검증은 벤더 데이터가 아니라 우리 데이터와 우리 프로세스로 해야 합니다. 이것을 요구하지 않으면 데모 조건이 계약의 기준이 됩니다.
데모 성과와 현업 성과는 측정 조건이 다릅니다
국내 중견 유통사가 AI 세금계산서 처리 솔루션을 도입했습니다. 벤더 데모에서 정확도는 98%였습니다. 계약 후 실제 운영에서 정확도는 54%로 내려갔습니다. 원인 조사에서 데모는 전자 발행된 표준 형식 세금계산서만 사용했지만, 실제 거래처의 40%가 수기 서명이 포함된 스캔 파일이나 외국 공급사의 비표준 양식을 사용하고 있었습니다.
가트너가 'Hype Cycle for Artificial Intelligence' 보고서에서 반복적으로 지목하는 AI 프로젝트 실패 요인 중 하나는 개념 증명(PoC) 단계에서 실제 운영 데이터와 프로세스를 검증하지 않은 것입니다. 벤더 제공 환경에서 성공한 결과가 기업 내부 환경으로 이전되지 않는 사례가 거듭 관찰됩니다.
데모와 현업의 성과 차이는 기술 실패가 아닌 경우가 많습니다. 데모 조건과 실제 조건이 다른 것이 원인입니다. 계약 전 이 차이를 확인하지 않으면 계약 후에 알게 됩니다.
데모 조건과 실제 조건은 세 가지가 다릅니다
첫 번째는 데이터 품질입니다. 벤더 데모는 정제된 샘플 데이터를 사용합니다. 실제 업무 데이터는 오탈자, 누락 필드, 비표준 형식이 섞여 있습니다. AI는 학습 데이터와 비슷한 입력에서 성능이 높고, 다른 형식에서 급격히 낮아집니다.
두 번째는 업무 흐름의 복잡성입니다. 데모는 한 명의 사용자가 시작부터 끝까지 진행하는 단선 흐름을 보여줍니다. 실제 업무는 부서 간 이관, 다단계 승인, 예외 처리가 있습니다. AI가 중간 단계만 처리할 때 앞뒤 연결이 달라집니다. 세 번째는 기존 시스템 연동입니다. 데모는 독립 환경에서 진행됩니다. 실제 운영에서는 ERP, 회계 시스템, 내부 데이터베이스와 연결해야 하며, 각 시스템의 인증 방식과 데이터 형식이 제약이 됩니다.
BCG와 MIT 슬론 경영대학원이 2021년 발표한 'Expanding AI's Impact With Organizational Learning' 연구에서 AI 투자 가치를 실현한 기업과 그렇지 못한 기업의 차이를 분석했을 때, 가장 뚜렷한 요인 중 하나는 조직의 실제 데이터와 프로세스를 기반으로 초기 검증을 진행했는가였습니다.
계약 전 검증에서 확인할 세 가지 질문
첫 번째 질문입니다. 우리 데이터 샘플로 같은 성과가 나오는가. 벤더에게 실제 거래 데이터 중 200건을 제공하고 동일한 정확도 지표를 요청합니다. 이때 가장 지저분하고 예외적인 건을 일부러 포함합니다.
두 번째 질문입니다. 우리 업무 흐름의 예외 시나리오를 처리할 수 있는가. 가장 자주 발생하는 예외 상위 다섯 개를 데모에 포함시킵니다. 예외가 없는 데모는 표준 케이스만 보여주는 것입니다. 세 번째 질문입니다. 기존 시스템 연동 구성에 얼마나 걸리는가. 연동 범위와 예상 공수를 계약 전에 확인합니다. 연동 이슈는 도입 이후 가장 많은 추가 비용이 발생하는 지점입니다.
Ahn Partners 판단: 세 질문에 모두 답하는 검증을 벤더가 제공하지 않으면, 계약 후 실제 조건에서의 성과를 가늠할 수 없습니다. 이 요청을 거부하거나 조건을 달면 그 자체가 정보입니다.
한 문장으로 정리하면
벤더 데모는 최적 조건의 성과를 보여줍니다. 실제 업무 조건에서의 성과는 우리 데이터와 우리 예외 시나리오로 직접 확인해야 알 수 있습니다. 현재 검토 중인 AI 솔루션이 있다면 이번 주 안에 실제 데이터 샘플 적용을 벤더에게 요청해 보십시오.
점검 목록
- 벤더 데모에 우리 실제 데이터 샘플을 적용한 적 있는가
- 데모에 가장 자주 발생하는 예외 시나리오를 포함시켰는가
- 기존 ERP, 회계 시스템 연동에 필요한 공수를 계약 전에 확인했는가
- 데모 환경과 실제 운영 환경의 데이터 형식과 품질 차이를 문서화했는가