- AI가 결정을 추천하는 단계에서 자동 실행하는 단계로 넘어가는 시점이 문서화되지 않으면, 조직은 AI가 사람 몫의 결정을 내리고 있는지 알지 못합니다.
- 결정 권한 지도는 자율 실행, 담당자 승인 후 실행, 임원 승인 후 실행의 세 층위로 나뉩니다. 금액, 영향 범위, 되돌릴 수 없는 정도가 기준입니다.
- 지도가 없으면 두 가지 사고가 납니다. AI 추천을 기다리며 결정이 지연되거나, AI 추천이 검토 없이 실행됩니다.
추천이 언제 결정이 됐는지 모르는 사고가 납니다
유통 중견사가 재고 발주에 AI 추천 시스템을 넣었습니다. 처음에는 AI가 수량을 제안하면 구매 담당자가 확인 후 발주했습니다. 6개월 뒤 담당자가 바뀌면서 AI 추천값이 확인 없이 시스템에 그대로 입력되기 시작했습니다. 1년이 지나 특정 품목이 3개월 치 재고로 쌓인 뒤에야 오발주가 확인됐습니다. 조사에서 누가 AI에게 발주 권한을 준 것인지 아무도 말하지 못했습니다.
EU AI Act(2024년 시행) 제14조는 고위험 AI 시스템에 대해 자연인이 AI 시스템의 출력을 검토하고 무시하거나 개입할 실질적인 능력을 유지해야 한다고 규정합니다. 이 요건은 AI가 추천만 하는지, 아니면 실제로 결정을 실행하는지에 따라 준수 여부가 달라집니다. 규정이 요구하기 전에 운영 리스크로 먼저 나타납니다.
AI 결정 권한은 대부분 명시되지 않은 채 운영됩니다. 처음에는 확인 후 실행하다가 편의상 자동화로 넘어가는 과정이 기록 없이 진행됩니다. 이 공백이 사고의 발생 지점입니다.
결정 권한 지도는 세 층위로 구분합니다
첫 번째 층위는 자율 실행입니다. 한 건당 금액이 작고, 되돌릴 수 있으며, 빈도가 높은 결정입니다. 사전에 정한 기준 안에서 AI가 실행하고 일지를 남깁니다. 소액 소모품 발주, 반복 일정 조정이 여기 속합니다.
두 번째 층위는 담당자 승인 후 실행입니다. AI가 추천하고 담당자가 일정 시간 안에 승인하지 않으면 실행되지 않습니다. 예산 기준을 초과하는 발주, 신규 거래처 등록, 계약 조건 변경이 여기 속합니다. 세 번째 층위는 임원 승인 후 실행입니다. 전략적 계약, 인사 결정, 외부에 공개되는 의사결정이 여기 속합니다. 금액 기준이 아니라 결정의 되돌릴 수 없는 정도와 영향 범위가 층위를 나누는 기준입니다.
OECD AI 원칙(2019년, 2023년 업데이트)은 결정 책임의 귀속(accountability) 요건을 명시합니다. 결정 책임이 특정 역할에 귀속되려면 그 역할이 어느 결정에 책임이 있는지 사전에 정의돼 있어야 합니다. 결정 권한 지도가 없으면 책임도 귀속되지 않습니다.
지도가 없으면 두 종류의 문제가 생깁니다
첫 번째 문제는 결정 공백입니다. AI가 추천을 내놓았지만 승인 담당자가 불명확하면 아무도 결정하지 않습니다. '시스템이 알아서 하겠지'라는 기대와 '담당자가 확인하겠지'라는 기대가 겹치면 사각지대가 생깁니다. 중요한 타이밍을 놓치는 형태로 손실이 나타납니다.
두 번째 문제는 무감독 실행입니다. 담당자가 AI 추천을 의심 없이 통과시키는 관행이 굳어지면 AI가 결정하는 것과 실질적으로 같습니다. 이 상태에서 AI가 잘못된 추천을 내놓으면 사람의 개입 없이 실행됩니다. 첫 번째 사고가 나기 전까지는 문제가 있다는 것을 알기 어렵습니다.
Ahn Partners 판단: 현재 운영 중인 AI 도구 목록을 꺼내십시오. 각 도구에서 AI 출력이 사람 확인 없이 실행되는 경우가 있는지 확인하십시오. 있다면 그것이 의도된 자율 실행인지, 아니면 관행으로 굳어진 것인지 구분해야 합니다.
한 문장으로 정리하면
AI 결정 권한 지도가 없으면 어느 결정을 AI에게 맡겼는지 조직이 알지 못하고, 사고가 난 뒤에야 확인하게 됩니다. 이번 주 안에 운영 중인 AI 도구별로 자율 실행 범위와 승인 기준을 한 장으로 정리해 보십시오.
점검 목록
- 현재 운영 중인 AI 도구에서 사람 확인 없이 자동 실행되는 결정이 어떤 것인지 파악하고 있는가
- 자율 실행 범위가 금액, 영향 범위, 되돌릴 수 없는 정도 기준으로 문서화돼 있는가
- AI 추천을 담당자가 거부하거나 수정한 건수를 측정하고 있는가
- AI 오실행 또는 오추천이 발생했을 때 대응 절차와 책임자가 지정돼 있는가
출처
- EU AI Act (2024). Regulation (EU) 2024/1689, Article 14: Human Oversight - 고위험 AI 시스템 인간 감독 요건
- OECD AI Principles (2019, updated 2023). Principle 1.4: Accountability - AI 결정 책임 귀속 원칙
AI 시스템이 잘못된 결과를 냈을 때 책임 소재를 어떻게 정해야 하는지 모르겠습니다 AI가 실행한 결과에서 문제가 생겼을 때 책임은 어느 판단을 내린 사람에게 있습니까에서 이어집니다.
AI 도입 후 팀장 평가 기준을 어떻게 바꿔야 하는지 모르겠습니다 AI가 팀 결과물을 매끄럽게 만들면 기존 팀장 평가 기준이 잘하는 팀장을 가려냅니까에서 이어집니다.