인공지능(AI) 이야기가 도처에서 들린다. 정부와 산업계는 대한민국을 AI 3대 강국으로 만들겠다면서 에너지·자금·인재를 퍼부을 기세다. 기업이나 교육 현장에서는 효율성과 창의성을 높이겠다고 도입을 서두른다.

AI는 방대한 데이터를 분석하고 패턴을 학습해 인간의 의사 결정을 돕는다. 질병·재난·범죄 등 많은 사회문제 해결에 도움이 될 것임은 분명하다. 동시에 대량 실직, 증강된 사이버 전쟁, 인간에 의한 AI 통제 불능 등 걱정거리도 많다.

민주주의를 연구하는 사람들은 AI가 가져올 민주주의 퇴행에 주목한다. AI가 허위 조작 정보를 사실처럼 더 쉽게 만들고 이를 더 빠르게 확산시킬 수 있다는 것은 이제 많이들 알게 됐다. 선거 때마다 나도는 딥페이크 영상에 경계심을 갖게끔 시민들의 학습도 이뤄졌다. 그런데 더 중요한 문제는 여론 조작을 넘어 AI가 직접민주주의 기제를 왜곡할 수 있다는 사실이다.

AI는 정치적 행위자가 콘텐츠를 쉽게 만들고, 빅데이터를 활용해 지지자를 효과적으로 동원하고, 그럴듯한 내러티브로 정치적 설득을 도와주는 값싼 무기가 됐다. 누구라도 AI의 도움을 받아 법안이나 정책을 만들어낼 수 있고 AI로 꾸며진 사회운동이 진짜 시민들의 풀뿌리 운동인 양 위장할 수도 있다. 엘리트가 주도하는 대의 민주주의를 보완하던 직접민주주의가 AI 장착으로 시민 참여 정통성을 잃게 되는 셈이다.

종래 직접민주주의 기제는 길거리 서명 캠페인, 정부나 국회 홈페이지를 통한 참여, 공청회, 조례 제·개정 시민 발의 등 제도적 장치를 통해 이뤄졌다. 또한 그 과정에서 시민들은 조직화된 옹호 단체나 전문가들과 협력하면서 일종의 필터링과 숙의 과정을 거칠 수 있었다. 그런데 AI는 중간에 이 모든 물리적이고 제도적인 기제들을 허문다.

어느 특정 쟁점에 대해 한 행위자가 AI에 자기가 옳다고 생각하는 아이디어를 미는 법안을 주문하면 AI는 관련 법령과 규제, 현장 사례 등을 파헤쳐 뚝딱 법안을 만들어준다. 이 생성 단계에서의 위험은 가짜 콘텐츠보다는 치우친 콘텐츠에 있다. AI가 이용자가 원하는 방향에 맞는 데이터들만 골라내기 때문이다.

동원 단계에서 AI는 우호적일 대상들을 종래 디지털 방식보다 훨씬 상세하게 선별해 지지자나 자원봉사자로 끌어들일 수 있다. 왜냐하면 AI는 수많은 개인의 인구통계학적 배경, 소비성향, 정치적 지향성에 관한 데이터를 긁어모을 수 있기 때문이다.

이렇게 선정된 타깃에게 AI는 꾸며낸 사례나 이야깃거리, 가짜 동영상을 진짜와 섞어 유포할 수 있다. 타깃이 된 개인들은 합성된 콘텐츠에 설득돼 일정 숫자로 불어나 국민의 여론인 양 정부나 국회에 공식적 의사 결정을 요구할 수 있게 된다. 이러한 상황이 도래하면 다양한 의견을 들을 수 있는 공론장은 사실상 붕괴되는 것이며 AI 플랫폼들이 우후죽순 생겨 시민사회를 파편화시키게 된다.

이러한 리스크가 생긴다고 해서 민주주의 절차에 AI 도입을 막을 수는 없다. 따라서 어떻게 법적·제도적으로 안전장치를 정비할 것인가에 논의가 집중돼야 한다. 기술적으로는 AI 생성물에 워터마크를 넣어 사람들의 주의를 환기시키는 일, AI를 활용한 의사 결정이라면 시차를 둬서 숙의할 시간을 주는 방안, 공신력 있는 AI 공론장을 만들어 이를 활용하게 만드는 일, 여론 조작 AI 생성자나 유포자에게 벌금이나 여타 제재를 부과하는 방법 등이 제안되고 있다. 정치적 양극화가 심한 사회일수록 AI가 악용될 소지가 큰 만큼 선제적으로 제도 정비에 나서야 할 것이다.

‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’이 1월 22일부터 시행됐다. 정부는 ‘대한민국 인공지능 행동계획’을 지난해 12월 발표하고 각계각층의 의견을 수렴 중이다. 범국가 AI 기반 대전환의 정책 축을 산업·공공·지역·문화·국방 등 다섯 개로 잡고 있다. 공공 정책 영역에 안전·신뢰·포용과 같은 단어들이 들어 있지만 민주주의에서 본 AI 기반 사회의 리스크 관리는 부족해 보인다. 민주주의를 위한 AI 거버번스 대책에 지혜를 모아야 할 때다.

<이숙종 성균관대 국정전문대학원 특임교수>