국가미래전략 insight. 140호, AI 내재화와 디지털 서비스 탄력성

보고서는 개정 「의료법」에 따른 비대면진료 시행을 앞두고 재진 기간과 처방일수 등 하위법령을 둘러싼 갈등이 되풀이되는 원인을 진단하고, 영국·프랑스·독일·일본의 비대면 진료 운영 방식을 비교하여 함의를 도출하고, 현재 시범사업 중인 '한국형 주치의 모델'과 연계하여 등록 주치의와의 관계를 기준으로 비대면진료를 운영하도록 하는 4대 원칙을 제시했다.


최근 금융권 침해사고에서 AI를 활용한 해킹 가능성이 제기됐지만, AI의 위험성은 외부 공격에 그치지 않는다. 병원의 영상 판독 보조, 지자체의 복지 상담·서류 검토, 은행의 대화형 이체, 통신사의 보이스피싱 탐지처럼 AI가 실제 업무 처리에 결합되는 ‘AI 내재화’가 확산되고 이에 따른 오류와 오작동의 문제가 발생하기 때문이다.


지금까지 디지털 서비스의 대표적인 위험은 서비스가 멈추는 장애였다. 서비스가 멈추면 문제가 바로 드러나고, 복구하면 피해도 멈춘다. 그러나 AI 내재화는 서비스가 정상적으로 돌아가는 가운데 AI의 잘못된 판단이 반복해서 업무에 반영되는 새로운 위험을 낳는다. 예를 들어 AI가 대출이나 복지급여 심사에 잘못된 결과를 내더라도 시스템은 정상적으로 작동하므로, 피해가 쌓인 뒤에야 오류가 발견될 수 있다. 그런데 지금의 대응 체계는 여전히 멈춘 서비스를 복구하는 데 맞춰져 있다. 이에 브리프는 장애 복구 중심의 대응을 AI 오류를 찾아내고 잘못된 처리를 바로잡는 데까지 넓혀야 한다고 지적했다.


해외 주요국은 각기 다른 방식으로 대응하고 있다. 유럽연합(EU)은 금융 서비스의 장애 대비 법과 AI 규제법을 함께 적용해 서비스 중단과 AI의 잘못된 판단 모두에 대비하도록 했고, 미국은 AI 위험관리의 공통 지침을 제공하되 법적 의무는 분야별 감독기관에 맡기고 있다. 영국은 금융회사의 기존 운영 관리와 소비자 보호 의무를 AI 활용에도 그대로 적용한다. 브리프는 세 나라 역시 완성된 체계를 갖춘 것은 아니지만, 운영 기준과 AI 관리 의무를 연결하고 감독 책임을 분명히 한 점은 참고할 만하다고 설명했다.


우리나라에도 관련 제도는 마련돼 있다. 분야별 서비스 운영 기준과 AI기본법, 개인정보보호법이 각각 서비스 장애 대비, 고위험 AI 관리, 자동화된 결정에 대한 이용자 권리를 다룬다. 문제는 이 제도들이 서로 다른 대상과 절차로 따로 운영된다는 점이다. 운영 기준은 서비스 중단에 대비하는 내용이 중심이고, AI 관리 의무와 이용자 권리는 일부 AI와 일부 상황에만 적용된다. 대응 책임도 여러 부처와 기관, 서비스 운영자에 나뉘어 있어, 이용자가 제기한 문제가 실제 교정과 피해 회복까지 이어졌는지 끝까지 확인하는 주체가 분명하지 않다.


브리프는 국내의 핵심 과제가 개별 제도의 부재가 아니라, AI 판단 오류의 발견부터 교정과 피해 회복까지를 잇는 제도 간 연결에 있다고 진단했다. 이를 바탕으로 국민의 권리·안전에 영향을 주는 서비스부터 적용할 세 가지 정책 방향을 제시했다.


첫째, AI 사용 제한·사람 검토 전환 기준을 마련해야 한다고 제시했다. 어느 수준의 오류가 확인되면 AI 사용을 제한하거나 사람의 검토로 전환할지, 그동안 중요한 업무를 어떻게 이어갈지, 이미 영향받은 처리를 어떻게 재검토할지를 대응 기준에 담아야 한다는 것이다. 대응 역량이 부족한 사업자에게는 시험·훈련과 전문 지원을 함께 제공해야 한다고 덧붙였다.


둘째, 대응 주관기관과 관계 기관의 공동 대응 절차를 정해야 한다고 제안했다. 사고의 성격과 범위에 따라 누가 대응을 주관하고, 필요한 조치가 끝났는지 확인할지를 분명히 해야 한다는 것이다. 특히 같은 AI 모델의 문제가 여러 서비스에 동시에 영향을 미치는 경우에 대비해 관계기관 간 정보공유와 공동 대응 경로를 마련해야 한다고 강조했다.


셋째, AI가 권리와 안전에 영향을 미치는 판단을 내린 경우에는 자동화 여부와 관계없이 이용자가 재검토를 요청할 수 있어야 한다고 밝혔다. 재검토 담당자는 판단 근거를 검토해 필요하면 결과를 바꿀 수 있어야 하며, 오류가 확인되면 같은 오류로 영향을 받은 다른 이용자까지 찾아 바로잡아야 한다는 것이다.


브리프를 작성한 유희수 연구위원은 “AI가 업무 깊숙이 들어오면서 서비스는 지속되는데 잘못된 판단이 반복되는 새로운 위험이 생겼다”며, “지금은 오류를 찾고, 바로잡고, 피해를 회복하는 제도가 서로 다른 법과 기관에 흩어져 있다”고 지적하고, “국민의 권리와 안전에 영향을 주는 서비스부터 이를 하나로 이어야 한다”고 강조했다.



(출처: 국회미래연구원)

해시태그

#국가미래전략Insight #디지털서비스 #인공지능 #AI위험관리

관련자료

AI 요약·번역·분석 서비스

AI를 활용한 보고서 요약·번역과 실시간 질의응답 서비스입니다.

국가미래전략 insight. 140호, AI 내재화와 디지털 서비스 탄력성

번역 PDF 파일의 원문 형태 그대로 번역

국가전략포털에서 실시간 AI 질의응답 서비스를 시작합니다. 4가지 유형의 요약과 번역을 이용해보시고, 보고서에 대해 추가로 알고 싶은 내용이 있으면 채팅창을 통해 자유롭게 AI에게 물어볼 수 있습니다.

※ 제공하는 정보는 참고용이며, 정확한 사실 확인이 필요할 수 있습니다. 민감한 개인정보는 입력하지 마십시오.