- 자동화 오작동의 피해는 수동 오류보다 빠르게 커집니다. 초당 수백 건을 처리하는 시스템이 잘못된 방향으로 작동하면 사람이 개입하기 전에 이미 손실이 발생합니다.
- 2012년 나이트 캐피털은 알고리즘 오작동을 45분간 멈추지 못하고 4억 4천만 달러를 잃었습니다. 중단 절차와 권한이 명확하지 않았습니다.
- 자동화 설계에서 가장 먼저 정해야 할 것은 어떤 조건에서 멈추는가, 누가 멈출 수 있는가, 멈춘 뒤 어떻게 복구하는가입니다.
자동화 오류는 인지해도 45분간 멈출 수 없었습니다
2012년 8월 1일 오전, 미국 금융 회사 나이트 캐피털의 알고리즘 거래 시스템이 잘못 배포됐습니다. 시스템은 즉각 오류 주문을 전송하기 시작했습니다. 담당자들은 10분도 안 돼 이상 징후를 발견했습니다. 시스템을 멈추는 데 45분이 걸렸습니다. 그 사이 주문 400만 건이 처리됐고 손실은 4억 4천만 달러였습니다. 나이트 캐피털은 그해 매각됐습니다.
미국 증권거래위원회(SEC)가 2013년 발표한 행정 제재 결정문(File No. 3-15570)에 따르면, 나이트 캐피털은 코드 배포 프로세스에 절차 오류가 있었고, 오작동 발생 시 거래를 중단하는 자동화된 안전장치와 명확한 수동 중단 절차가 없었습니다.
자동화 오작동이 빠른 이유는 속도 때문입니다. 사람이 수동으로 처리하면 분당 수십 건입니다. 자동화 시스템은 초당 수백, 수천 건을 처리합니다. 오류가 생길 때 증폭되는 속도도 같습니다.
자동화 설계에서 정지 버튼이 마지막이 되면 안 됩니다
자동화 프로젝트를 시작할 때 대부분의 논의는 무엇을 자동화할 것인가에 집중됩니다. 언제 멈출 것인가, 누가 멈출 수 있는가, 멈춘 뒤 어떻게 복구할 것인가는 운영 중 문제가 생길 때 추가되는 경우가 많습니다.
AI 자동화는 이 문제를 더 복잡하게 만듭니다. 규칙 기반 자동화는 정해진 조건에서만 작동합니다. AI 자동화는 학습 데이터와 달라진 입력에서 예상하지 못한 방식으로 작동할 수 있습니다. NIST가 2023년 발표한 'AI Risk Management Framework(AI RMF 1.0)'에서 AI 시스템의 신뢰성 요건 중 하나로 오작동 시 안전한 상태로 전환하는 능력(graceful degradation)을 명시한 이유입니다.
Ahn Partners 판단: 자동화 설계 첫 번째 회의에서 세 가지를 먼저 정하십시오. 어떤 조건이 충족되면 자동으로 중단하는가(오류율 임계치, 이상 감지 등), 누가 수동으로 중단할 권한을 갖는가, 중단 이후 복구 절차와 책임자는 누구인가입니다.
중단 기준을 설계하는 세 가지 원칙
첫 번째는 수치 임계치입니다. 오류율이 일정 수준을 넘으면 시스템이 자동으로 중단하고 담당자에게 알립니다. 예를 들어 주문 처리 오류율 3% 초과 시 자동 중단 같은 방식입니다. 임계치는 배포 전에 정하고 문서에 명시합니다.
두 번째는 수동 중단 권한자 지정입니다. 시스템 오작동을 인지했을 때 누가 멈출 수 있는가를 직책과 연락처로 명시합니다. 나이트 캐피털 사례에서 45분이 걸린 이유 중 하나는 중단 권한이 누구에게 있는지 혼선이 있었기 때문입니다. 세 번째는 복구 경로 문서화입니다. 자동화가 멈춘 뒤 수동 처리로 전환하는 절차, 데이터 일치 확인 방법, 재가동 승인 조건을 사전에 만들어 둡니다.
Ahn Partners 판단: 현재 운영 중인 자동화 시스템 목록에서 중단 기준과 권한자가 문서화된 것이 몇 개인지 확인하십시오. 없는 것이 있다면 이번 분기 안에 추가하십시오.
한 문장으로 정리하면
자동화를 설계할 때 무엇을 자동화할지보다 어떻게 멈출지를 먼저 정해야 합니다. 이번 주 현재 운영 중인 자동화 시스템에서 수치 임계치, 수동 중단 권한자, 복구 절차가 모두 있는지 확인하십시오.
점검 목록
- 현재 운영 중인 자동화 시스템에 수치 기반 자동 중단 임계치가 설정돼 있는가
- 오작동 발생 시 수동으로 시스템을 중단할 수 있는 권한자와 연락처가 명시돼 있는가
- 자동화 중단 이후 수동 처리로 전환하는 절차가 문서화돼 있는가
- 마지막으로 자동화 시스템의 중단 및 복구 절차를 실제로 테스트한 날짜를 알고 있는가