교육, 건강, 군사, 치안…을 AI에 맡길 수는 없지 않습니까?

윤석열정부는 고위험 인공지능의 성급한 도입을 유예하고 인권보호를 위한 제도부터 마련해야

AI로봇경호, 데이터 전면개방, AI학력진단 등 인권에 부정적 영향 우려돼

 

윤석열정부의 110대 국정과제가 발표되었다. 이른바 ‘디지털플랫폼정부’를 내세우며 곳곳에서 인공지능의 도입을 본격화하고 있다. 그러나 우리 단체들은 윤석열정부가 도입을 준비중인 인공지능들이 인권에 부정적인 영향을 미칠 수 있는 고위험 영역이라는 점에서 깊은 우려를 표한다. 정부가 해야 할 일은 성급한 고위험 인공지능 배치보다 인공지능의 위험으로부터 인권을 보호할 수 있는 제도부터 마련하는 것이며, 유엔에서 권고한 대로 우리는 제도적 보호 장치 마련 전까지 모든 고위험 인공지능의 도입을 유예(모라토리엄)할 것을 요구한다.

 

이번 국정과제 발표 이전부터 윤석열정부는 대통령 경호에 무인 AI 로봇을 도입하고 생체인식정보를 처리하기 위해 준비 중인 것으로 알려졌다. 나아가 국정과제에서는 세계 3위권내 인공지능 국가를 실현하겠다며 “민간이 필요로 하는 데이터의 개방”을 확대할 방침을 밝혔다(과제77). 이렇게 개방될 데이터에는 공적 목적으로 수집한 국민의 개인정보들이 포함되어 있다. ‘AI 기반 학력진단시스템’도 도입될 예정이다(과제82). 학생의 성적 등 개인정보를 이용한 맞춤형 진단·학습도 추진된다. 더불어 민감한 건강정보의 처리가 이루어질 AI기반 건강관리사업을 확대할 예정이며(과제44), AI기반 온라인 고용서비스를 도입하고(과제52), AI기반의 유·무인 전투체계를 발전시킬 계획이다(과제103). 

 

그러나 이 인공지능 정책들은 모두 인권에 부정적 영향을 미칠 위험이 높은 영역들에 대한 것이다. 

 

우선 집무실 경호를 위하여 도입되는 AI 무인 로봇 경호의 경우 얼굴인식, 동작인식 등 생체인식정보가 처리될 예정이고 경우에 따라서는 대상자에 대한 고지나 제한 등 자동화된 조치가 이루어질 수도 있다. 그러나 군중 속에서 원격으로 특정 개인을 식별하는 원격 생체인식은 공공장소에 대한 국가 감시의 우려가 크며, 실시간 원격 생체인식은 이동의 자유 뿐 아니라 표현의 자유, 집회 및 결사의 자유에 직접적으로 부정적인 영향을 미치기 때문에 고도로 위험한 인공지능에 해당한다. 이러한 이유로 유엔 인권최고대표는 국제 인권 규범 준수를 보장할 수 있을 때까지 공공장소에서 실시간 원격 생체인식기술의 사용을 유예(모리토리엄)할 것을 각국에 권고한 바 있다. 유럽연합은 공공장소 실시간 원격 생체인식을 원칙적으로 금지하고 법원의 허가 등 예외적인 상황에서만 사용하는 인공지능 법안을 논의 중이다. 게다가 무인 로봇 경호 시스템은 사람에 대한 조치를 자동적으로 수행할 수 있다는 점에서 더욱 위험하다. 윤석열정부도 무인 경호를 이유로 상시적으로 공공장소에서 생체인식을 도입하고 자동화된 조치를 실시하려는 방침을 즉각 철회해야 한다. 

 

공공기관이 공익적으로 수집 보유해 온 개인정보의 민간 개방 또한 우려스럽다. 얼마전 법무부 출입국 인공지능 사업의 경우 출입국이라는 공익적 목적으로 국가가 보유해온 1억 7천만 건의 내국인과 외국인의 민감한 개인정보를 실증랩이라는 이름으로 민간업체 십수개에 제공하였고, 이들 기업은 이렇게 제공받은 개인정보로 자사 인공지능 프로그램을 학습시키고 지적재산권 취득 등 독자적인 이익을 얻었다. 공익적이고 특정한 목적으로 수집된 국민의 개인정보를 이와 무관한 민간의 영리적 목적을 위해 개방하는 것은 그 자체로 정보인권 침해이다. 가명처리나 실증랩이라는 처리 절차가 있다고 하여 이러한 인권 침해의 본질이 달라지지 않는다. 정부가 정보주체의 동의 없이 무분별한 개인정보 민간 개방을 계속한다면, 시민들은 이런 방식으로 형성되는 인공지능 사회를 반기지도, 신뢰하지도 않을 것이다. 

 

한편, AI 교육의 경우 아동에게 인공지능 제품과 서비스를 적용한다는 점에서 특히 주의가 요구되는 분야이다. 이루다 사건에서 우리가 이미 목격하였듯이 인간 사회의 차별적 인식과 혐오 언어를 학습한 인공지능은 챗봇으로, 스피커의 형태로 학교 현장에서 아동에게 직접 적용될 수 있다. 맞춤형 학습 프로그램을 개발하거나 조달한다는 이유로 민간 업체들이 학교에서 제공받은 학생의 개인정보를 이루다처럼 가명처리하여 목적 외로 이용하거나 자기 제품 향상 등 영리적 이익을 위해 이용하는 일이 벌어질 수도 있다. 무엇보다 아동을 대상으로 자동화된 의사결정을 적용하는 것은 금지되어야 하며, 특히 시험과 평가에 인공지능을 적용하는 일은 없어야 한다. 영국은 2020년 대입시험에 섣부른 인공지능을 도입하였다가 부유한 지역 사립학교와 가난한 지역 공립학교 학생을 차별하는 성적 평가를 낳아 세계적으로 충격을 주었던 바 있다. 따라서 아동의 성적 등 개인정보를 특별히 보호하고, 아동의 취약한 측면을 악용하는 인공지능 제품과 서비스를 금지하며, 아동을 대상으로 시험과 평가에 인공지능을 도입하거나 자동화된 의사결정을 적용하는 것을 금지하는 제도적 대책이 마련되어야 한다.

 

그밖에 돌봄서비스를 이유로 민감한 건강정보를 처리하거나 실업급여 등 고용서비스 자격 심사에 인공지능을 적용한다면 이 역시 인권에 매우 부정적인 영향을 미칠 것이다. 인공지능을 이용한 자율무기 또한 인류에 매우 위험한 결과를 야기할 수 있다고 국제사회가 여러 차례 경고해 왔던 바 있다.

 

지금 우리에게 필요한 것은 섣부른 고위험 인공지능의 도입이 아니다. 인공지능의 위험으로부터 인권을 보호하는 법제도부터 시급하게 마련할 필요가 있다. 인공지능을 규율하는 법제도는 관련 산업을 지원하기 위한 목적 하에 형식적으로 추진되어서는 안된다. 반드시 독립적이고 효과적으로 인권준수를 감독하는 체계가 마련되고 피해자 권리구제를 보장하여야 하며, 감독기관 조사와 권리구제를 지원하는 투명성 의무가 명시되어야 한다. 특히 유엔 사무총장과 유엔인권최고대표는 인공지능의 인권 위험으로부터 인권을 보호하기 위하여 인권영향평가를 비롯한 체계적인 인권실사를 실시할 것을 각국에 권고해 왔다. 

 

얼마전 국가인권위원회는 인공지능 인권 가이드라인을 의결했다. 윤석열정부는 고위험 인공지능 정책을 무분별하게 도입하기에 앞서 유엔 인권기구들의 권고 및 국가인권위원회의 권고부터 살펴보고 이행하여야 할 것이다. 우리에게 필요한 것은 우리의 인권을 위협하지 않고 안전한 인공지능이며, 정부가 해야 할 일은 인공지능이 인권에 미치는 부정적인 영향을 방지할 수 있는 법과 제도부터 마련하는 것이다. 이러한 인권 보호 장치가 마련되기 전까지는 모든 고위험 인공지능의 도입을 유예(모라토리엄)하여야 마땅하다.

 

2022년 5월 9일

 

민주사회를 위한 변호사모임 디지털정보위원회

정보인권연구소

진보네트워크센터

참여연대 

 

공동논평 [원문보기/다운로드]

정부지원금 0%, 회원의 회비로 운영됩니다

참여연대 후원/회원가입