AI가 실행한 결과에서 문제가 생겼을 때 책임은 어느 판단을 내린 사람에게 있습니까

파스퀄레는 2020년 저서에서 AI가 실행을 담당해도 인간 전문가의 판단 책임은 사라지지 않는다고 분석했습니다. AI가 추천을 자동 실행하는 구조로 바뀌어도 그 구조를 설계한 판단이 결과를 만들기 때문입니다.
EU AI 법(2024년 발효)은 고위험 AI 시스템의 제공자와 배포자가 인간 감독 의무를 유지해야 한다고 규정합니다. 감독 의무의 핵심은 AI 설계 단계의 판단이 기록되고 검토 가능해야 한다는 것입니다.
판단 책임 추적 구조는 복잡하지 않습니다. 어떤 조건으로 AI를 설계했는지, 누가 그 조건을 결정했는지, 그 결정 이후 조건이 달라진 시점이 있는지를 기록하는 것입니다. 이 기록이 없으면 AI가 잘못됐을 때 설계 판단을 추적할 수 없습니다.

AI가 실행해도 설계 판단의 책임은 이동하지 않습니다

물류 중견기업이 AI 배송 경로 최적화 시스템을 도입했습니다. 시스템이 추천하는 경로를 따랐는데 대규모 배송 지연이 발생했습니다. 운영팀 임원이 'AI가 잘못된 경로를 추천했다'고 보고했습니다. 조사 결과, AI 시스템은 72시간 이전 기상 데이터를 사용하도록 설정되어 있었습니다. 실시간 기상 데이터를 쓰면 API 비용이 올라간다는 이유로 담당자가 6개월 전에 변경한 설정이었습니다. 변경 이유는 기록에 없었습니다. 어느 판단이 그 설정을 결정했는지를 6개월이 지나서 추적하기 어려웠습니다.

AI가 잘못된 경로를 추천한 것은 맞습니다. 그런데 AI가 72시간 전 데이터를 쓰도록 설계한 판단이 그 결과를 만들었습니다. AI가 실행했다고 그 설계 판단의 책임이 없어지지 않습니다. 문제는 그 설계 판단이 누구의 어떤 결정이었는지를 추적할 수 없다는 것입니다.

파스퀄레는 2020년 저서 'New Laws of Robotics'에서 AI가 실행을 담당해도 인간 전문가가 해당 시스템을 어떤 조건 위에 설계했는지의 판단 책임은 유지된다고 분석했습니다. AI 시스템이 자율화될수록 그 설계 판단의 질이 결과를 결정하고, 그 판단을 내린 사람이 결과에 대한 책임을 진다는 것입니다.

판단 책임이 더 이른 시점으로 이동합니다

AI가 실행을 담당하기 전에는 결과 단계에서 판단이 일어났습니다. 어떤 경로로 배송할지를 담당자가 그때그때 결정했습니다. 그 결정이 잘못되면 그 결정을 내린 담당자를 추적할 수 있었습니다. AI가 경로를 자동으로 추천하고 실행하면, 실제 판단은 AI 시스템을 어떤 조건으로 설계했는가의 시점으로 이동합니다. 결과 단계에서 판단하던 것이 설계 단계의 판단이 됩니다.

EU AI 법(2024년 8월 발효, 규정 2024/1689)은 고위험 AI 시스템의 제공자와 배포자에게 인간 감독 역량을 유지할 의무를 부과합니다. 핵심은 AI가 자율 실행하는 경우에도 그 실행의 조건과 한계를 설계한 사람이 결과를 모니터링하고 개입할 수 있어야 한다는 것입니다. 이 요건은 설계 단계의 판단을 기록하고 추적 가능하게 유지하는 구조를 전제합니다.

Ahn Partners 판단: 이 변화는 AI 도입 후 책임 문화에서 중요한 전환입니다. 결과가 잘못됐을 때 '누가 그 결정을 내렸는가'를 묻는 것에서, '어느 시점의 어떤 설계 판단이 그 결과를 가능하게 했는가'를 묻는 것으로 바뀝니다. 이 질문에 답할 수 없으면 같은 문제가 반복됩니다.

판단 책임 추적 구조를 만드는 방법

판단 책임 추적 구조는 세 가지 질문에 답하는 기록입니다. 첫째, AI 시스템을 어떤 조건 위에 설계했는가입니다. 사용하는 데이터의 범위와 기간, 최적화 기준, 자동 실행 조건을 문서화합니다. 둘째, 그 조건을 누가 어떤 이유로 결정했는가입니다. 설계 결정을 내린 사람과 결정 시점을 기록합니다. 셋째, 그 조건이 바뀐 적이 있는가입니다. 조건 변경이 있을 때 변경 이유와 결정자를 함께 기록합니다.

이 기록은 AI 사고가 났을 때 사후 추적을 위한 것이기도 하지만, 더 중요하게는 사전에 설계 판단의 질을 높이는 역할을 합니다. 기록해야 한다는 것을 알면 설계 판단을 더 신중하게 내립니다. 72시간 전 데이터를 쓰기로 결정할 때 그 이유를 기록해야 한다면, 비용 절감이 유일한 이유인지를 먼저 검토하게 됩니다.

이번 주에 점검할 것은 이것입니다. 현재 운영 중인 AI 자동화 시스템에서 가장 중요한 설계 조건 세 가지는 무엇이고, 그 조건을 누가 어떤 이유로 결정했는지 지금 답할 수 있는가. 답할 수 없다면 그 시스템에서 문제가 생겼을 때 어느 판단이 그 결과를 만들었는지를 추적하기 어렵습니다.

한 문장으로 정리하면

AI가 실행했다고 판단 책임이 사라지는 것이 아닙니다. 판단 책임은 결과 단계에서 설계 단계로 이동합니다. 어느 시점의 어떤 판단이 그 설계를 결정했는지를 기록하지 않으면, AI 결과에서 문제가 생겼을 때 책임 추적이 불가능하고 같은 문제가 반복됩니다.

점검 목록

현재 운영 중인 AI 자동화 시스템에서 핵심 설계 조건을 누가 어떤 이유로 결정했는지 문서화되어 있는가
AI 시스템의 설계 조건이 변경될 때 변경 이유와 결정자를 기록하는 절차가 있는가
AI 결과에서 문제가 생겼을 때 어느 시점의 설계 판단이 그 결과를 만들었는지를 24시간 안에 추적할 수 있는가