국회미래연구원은 11일 발간한 브리프 `AI 내재화와 디지털 서비스 탄력성`을 통해 AI 판단 오류를 발견하고 잘못된 처리를 즉각 바로잡는 통합 대응 체계 구축을 촉구했다.

국회미래연구원, AI 내재화 따른 오류 대응 체계 개선 방안 제시

최근 의료, 복지, 금융 등 다양한 분야에서 AI가 업무에 결합되는 `AI 내재화`가 확산되고 있다. 이에 따라 외부 해킹뿐만 아니라 AI 자체의 오류나 오작동 문제도 주요 위험 요소로 부상했다.

기존의 디지털 서비스 위험이 주로 서비스 중단이라는 `장애`에 국한되었다면, AI 내재화는 시스템이 정상 작동하는 상태에서도 잘못된 판단이 반복적으로 업무에 반영되는 새로운 유형의 위험을 낳고 있다.

이 날 브리프는 대출이나 복지급여 심사 등에서 발생한 AI 오류는 피해가 누적된 이후에야 발견될 가능성이 크다고 지적했다. 그럼에도 현재의 대응 체계는 여전히 장애 복구에만 집중되어 있어 한계가 있다.

해외 주요국의 대응 사례를 보면 유럽연합(EU)은 금융 장애 대비 법과 AI 규제법을 병행 적용하고 있으며, 미국은 AI 위험 관리 지침을 제공하고 영국은 기존 금융 운영 관리 의무를 AI에도 동일하게 적용하고 있다.

반면 우리나라는 관련 제도가 분야별로 분절되어 운영되고 있다. 서비스 운영 기준, AI기본법, 개인정보보호법 등이 각각 존재하지만 서로 다른 대상과 절차를 다루고 있어 책임 소재가 불분명한 실정이다.

이에 대해 유희수 연구위원은 “AI가 업무 깊숙이 들어오면서 서비스는 지속되는데 잘못된 판단이 반복되는 새로운 위험이 생겼다”며, “지금은 오류를 찾고, 바로잡고, 피해를 회복하는 제도가 서로 다른 법과 기관에 흩어져 있다”고 지적했다.

연구원은 이 문제를 해결하기 위해 제도 간 연결성을 강화하는 세 가지 정책 방향을 제시했다. 우선 AI 사용 제한 및 사람 검토 전환에 대한 명확한 기준을 마련하고, 역량이 부족한 사업자에게는 전문 지원을 제공해야 한다.

이어 사고 발생 시 대응 주관기관과 관계 기관이 협력할 수 있는 공동 대응 절차를 확립해야 한다. 특히 동일 AI 모델의 문제가 여러 서비스에 영향을 미칠 경우 기관 간 정보 공유 체계가 필수적이다.

마지막으로 이용자의 재검토 요청권을 강화해야 한다. AI의 판단이 권리와 안전에 영향을 미칠 경우 자동화 여부와 관계없이 재검토를 요청할 수 있어야 하며, 확인된 오류는 연관된 다른 이용자까지 파악해 일괄 수정해야 한다.

유희수 연구위원은 “국민의 권리와 안전에 영향을 주는 서비스부터 이를 하나로 이어야 한다”고 강조하며 대응 체계의 일원화를 거듭 제언했다.