- 2022년 ACL에서 발표된 TruthfulQA 연구는 대형 언어 모델이 사실에 어긋나는 답을 확신 있는 어조로 낸다는 것을 체계적으로 확인했습니다. GPT 계열 모델의 정확 응답 비율은 58%였습니다.
- 잘못된 질문이 더 위험해지는 이유가 있습니다. 분석 속도가 느릴 때는 잘못된 방향을 일찍 발견했습니다. AI가 즉시 분석을 내놓으면 잘못된 방향으로 빠르게 달려갑니다.
- 드러커는 1967년 올바른 답을 찾는 것보다 올바른 질문을 정의하는 것이 더 어렵고 더 중요하다고 했습니다. AI 시대에 이 원칙이 더 선명해지고 있습니다.
AI가 확신 있게 낸 답이 틀렸습니다
2022년 국제 언어학 연례학술대회(ACL)에서 발표된 TruthfulQA 연구는 대형 언어 모델이 사실에 어긋나는 답을 자신 있는 어조로 낸다는 것을 체계적으로 보여줬습니다. 연구팀이 GPT 계열 모델을 테스트한 결과 정확하게 답한 비율은 58%였습니다. 오류가 있는 답도 문체와 형식은 정확한 답변과 구별이 어려웠습니다.
한 대표가 AI에게 물었습니다. 우리 경쟁사들이 신제품을 출시할 때 어떤 방식을 쓰는지 알려줘. AI는 빠르게 답을 냈습니다. 그럴듯한 사례와 패턴이 나왔습니다. 회의에서 그 내용을 바탕으로 결정이 내려졌습니다. 두 달 뒤, 그 답변에 포함된 경쟁사 사례 두 건이 실제로 존재하지 않는 것이었다는 것이 확인됐습니다. 질문이 너무 넓었습니다. AI는 빈칸을 그럴듯하게 채웠습니다.
문제는 AI의 오류가 아닙니다. 틀린 질문은 틀린 답을 빠르게 줍니다. 예전에는 답을 구하는 데 시간이 걸렸기 때문에 질문을 다듬을 여유가 있었습니다. AI가 즉시 답을 주면 잘못된 질문의 결과가 더 빠르게, 더 그럴듯하게 나옵니다.
분석이 빨라질수록 방향 설정이 더 중요합니다
AI가 경영 분석을 빠르게 해준다는 것은 사실입니다. 보고서가 빠르게 나오고 데이터가 정리되며 시나리오가 도출됩니다. 이것이 의사결정 속도를 높인다고 생각합니다. 여기에 모순이 있습니다.
빠른 분석이 좋은 결정으로 이어지려면 분석의 방향이 옳아야 합니다. 분석의 방향은 질문이 결정합니다. 지난 분기 매출이 왜 떨어졌나요와 지난 분기 이 지역 고객의 재주문율이 다른 지역 대비 낮은 이유로 가능한 변수를 세 가지 제시해줘는 같은 주제를 다루지만 전혀 다른 분석을 냅니다. 전자는 AI가 원인을 임의로 선택합니다. 후자는 대표가 이미 가설을 가지고 있습니다.
분석 속도가 느릴 때는 잘못된 방향의 분석이 나오면 재작업하는 비용이 크기 때문에 질문 단계에서 더 신중했습니다. AI가 즉시 분석을 내놓으면 잘못된 방향으로 빠르게 달려갈 수 있습니다. 경영 판단의 속도를 높이는 것과 경영 판단의 방향을 잡는 것은 다른 종류의 역량입니다.
질문을 만드는 역량이 경영 역량이 됩니다
드러커는 1967년 저서 '효과적인 경영자'에서 올바른 답을 찾는 것보다 올바른 질문을 정의하는 것이 더 어렵고 더 중요하다고 했습니다. 이 원칙이 AI 시대에 더 선명해지고 있습니다. 답을 구하는 비용이 0에 가까워질수록 어떤 답이 필요한가를 정의하는 역량이 희소해집니다.
질문을 만드는 역량은 세 가지로 구성됩니다. 첫째는 현재 가장 중요한 문제가 무엇인지를 식별하는 것입니다. 이것은 데이터가 아닌 현장 경험에서 나옵니다. 둘째는 그 문제를 AI가 처리할 수 있는 구체적인 형태로 전환하는 것입니다. 셋째는 AI가 낸 답이 처음 질문의 의도를 충족하는지 확인하는 것입니다. 세 번째까지 가지 않으면 빠른 분석이 틀린 방향 확인에 쓰이게 됩니다.
Ahn Partners 판단: AI 도구 도입 이후 의사결정의 질이 오르지 않는 경우의 상당수는 분석 결과를 신뢰하는 것이 아니라 분석의 방향을 설정하는 역량이 부족한 데서 비롯됩니다. AI는 주어진 질문에 잘 답합니다. 어떤 질문을 할지는 사람이 결정합니다. 이는 Ahn Partners 현장 관찰이며 통제 실험 결과가 아닙니다.
한 문장으로 정리하면
AI가 즉시 답을 주는 시대에 대표의 역할은 답을 찾는 것에서 올바른 질문을 정의하는 것으로 이동합니다. 이번 주에 점검할 것은 이것입니다. 지난 한 달 AI에게 보낸 질문 중 가장 중요한 결정에 쓰인 것 하나를 꺼냅니다. 그 질문이 충분히 구체적이었는지, 가설이 담겨 있었는지, 아니면 그냥 큰 주제를 던졌는지를 확인합니다.
점검 목록
- 최근 AI에게 보낸 질문 중 가장 중요한 결정에 쓰인 것이 구체적인 가설을 담고 있었는가
- AI가 낸 분석을 그대로 보고서에 쓴 적이 있는가. 그 분석의 전제를 직접 검증했는가
- 팀에서 AI에게 질문을 잘 만드는 역량을 개인 역량이 아닌 팀 역량으로 키우고 있는가
출처
- Lin, S., Hilton, J., & Evans, O. (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (ACL 2022). GPT 계열 모델의 정확 응답 비율 58%, 오류 답변도 정확한 답변과 어조가 구별되지 않음.
- Drucker, P.F. (1967). The Effective Executive. Harper & Row. 올바른 질문을 정의하는 것이 올바른 답을 찾는 것보다 더 어렵고 더 중요하다는 경영 원칙.
AI 교육을 했는데 실제로 AI를 잘 활용하는 직원이 팀에 한두 명뿐인 이유 AI 질문을 잘 만드는 직원이 팀에 두 명이면 그것은 역량이 아니라 의존입니다에서 이어집니다.