인공권력, 인간권력, 자본권력: 민주주의 자동화 시대, 'AI 대전환'?

인공권력, 인간권력, 자본권력

: 계산적 합리화에 의한 민주주의 자동화 시대, 'AI 대전환'은 무엇이어야 하는가?

 

김현준(문화/과학 편집위원, 서교인문사회연구실)

 

*이 글은 계간 <문화/과학> 120호 특집 "전환의 키워드"에 실렸으며, 초고는 맑스코뮤날레에서 발표되었음을 밝힙니다.

인용 시, <문화/과학>의 글을 참고해주세요. 

 

컴퓨터화는 ...
'혁명적'이라 부르면서 ... 중요한 결정은 사적 주체들의 손에 맡겨진다 ...
인공 지능에 의해 이끌어질 것이라고 예언하기도 한다.
그러나 현재 컴퓨터 혁명은 훨씬 더 낯익은 것에 의해 영향을 받고 있다.
그것은 텅 빈 마음.

- 랭던 위너[1]

 

1. 들어가며: AI는 민주주의의 도구인가?

'AI 대전환' 'AI 혁명'이 회자되고 있는 가운데, 마이크로소프트, 아마존, 구글, 오라클 등이 인공지능 데이터 센터 전력 공급을 위해 핵발전을 선택했거나 고려한다는 소식이 들려왔다.[2] 누구를 위한 선택일까? 'AI를 위한' 기술관료들의 선택에 시민대중의 목소리는 들리지 않는 것 같다. 'AI 전환'은 과연 지구와 인류사회를 위한 정의로운 전환일 수 있을까? SNS, 플랫폼 알고리즘으로 인한 정치양극화, 탈진실 현상의 강화, 나아가 '디지털 인류세'[3]의 현실 속에서 AI는 자신이 만들어낸 정치적 현실들을 극복할 수 있는 성찰적인 기술-정치적 대안이 될 수 있을까? 자본성장의 가치를 극대화하겠다는 '새로운(4차)' 산업 '혁명'의 기치 속에서 인류가 진정으로 이룩해야할 '혁명'은 무엇일까? 우리사회는 누구를 위해서, 무엇을 위해서, 왜 'AI 전환'을 해야만 하는 것일까? 이를 위한 역량은 누가 요구하는 것일까? 그리고 이 국면에서 민주주의는 무엇이어야며 AI와 어떤 관계를 맺어야하는 것일까?[4]

  오늘날 AI는 '비합리적'인 사회체계를 '합리화'하고 '효율화'할 수 있으며 정치를 위한 최적의 도구로 여겨지는 듯하다. 근대의 종착지에 도달했다고 믿기가 무섭게 계산지능과 경제적 합리성의 요구는 우리가 목도한 '쇠우리'나 기술관료제가 사실은 인류 역사나 자본주의에서 초보적 단계에 불과할지도 모른다는 예감을 실현해 가고 있는지 모른다. AI의 계산적∙도구적 합리성에 의한 정치적 합리성의 식민화라고 하면 지나칠까? AI는 개인의 자유와 능력을 극대화하고 유토피아를 실현한 물신적 도구로 여겨진다. AI에 대한 디스토피아적 불안과 뒤엉킨 유토피아적 기대라는 ‘불안한 희망’의 끝은 어디일까? AI에 의한 정치적 조정이나 통제를 무기력하게 지켜보거나 아니면 오히려 이를 마지못해 환영할 선택지만이 우리를 기다리는걸까?[5] 이러한 기술결정론이나 기술만능주의적 환상은 현대 사회와 정치에 대한 실망과 불만의 반대급부일 수 있다. 즉 AI 신화는 우리 사회정치체제의 문제를 드러내는 증상일 수 있다는 뜻이다. 그러나 AI는 단지 이데올로기가 아니라 물질적 메커니즘을 지닌 기술물신이다. 사회정치적 문제의 해결을 위해 성급히 AI를 도입함으로써 문제를 해결하려는 조급증(효율적으로 해결할 수 있다는 믿음)은 우리 사회정치체제의 다른 해법들에 대한 가치나 효력을 쉽게 포기하고 대안적 상상력을 제한하는 반면, 특정한 기술-정치적 해법은 특권화하는 기술-정치이다.

  따라서 우리는 당연히 AI를 정치적인 현상이자 정치적인 것을 구성하는 '기술-정치적 인공물'로 보아야한다. AI를 기술-정치적 인공물 또는 '정치적 기술'로서 이해한다는 것은 그것이 단지 정치를 '위한' 도구로서만이 아니라, 정치를 구성하는 '테크놀로지'로서 이해한다는 것이다. 즉 이는 인간사회의 정치적 목표와 가치에 기술의 정치성이 작용하여 인간의 정치, 특히 민주주의를 변화시킬 수 있다는 점을 인식하는 것이다. 그리고 AI를 기술정치학적으로 본다는 것은 AI를 단지 서비스나 제품으로 보는 것이 아니라, 그것이 적용되거나 실행되는 특정 영역이나 장치, 시스템에 사실상 정치적 규제와 규율을 구조적 설계를 통해 제공하는 '기술코드(technical code)'[6]로서 인식하는 것이다. 가령 과속방지턱의 도입은 과속방지와 사고방지라는 비기술적인 법적 의도를 기술화(물질화)함으로써 법적 의도를 관철시키는 기술(사물)정치이며, 도시미관을 위한 인도 턱의 도입은 장애인 이동권을 축소하거나 방해함으로써 장애인을 배제하는 '정치적' 규제를 선택하는 것이 된다.[7] 즉 AI는 정치적 의사나 권리의 자동결정기계이자 정치적 규제기계이며, 사회적∙법적∙시장적 규칙을 알고리즘의 논리로, 또 알고리즘의 논리를 정치적 논리와 문화체계로 번역하고 입안하는 '행위자(actant)'이다. 라투르 식으로 보자면, AI는 기술적 합리성과 정치적 합리성의 양자를 상호 번역해주는 '의무통과점'으로서의 번역기라 할 수 있다. 노버트 위너는 전기 변환기(사이버네틱스)가 도구이자 메시지라고 했는데[8], 맥루한 식으로 보자면, AI라는 기술매체는 그 자체로 정치 메시지인 셈이다.[9]

  이른바 '4차 산업혁명'에서 AI시스템은 산업융합만이 아니라, 기존 첨단 테크놀로지의 권력들을 융합한다. AI는 정보나 행위자들 간의 매개에서 오는 재현과 '매체권력'으로서의 기본적 특성을 넘어 행위자들 간의 상호작용의 내용적 차원에 개입할 뿐만 아니라, 그것의 사회적 규칙을 입안하는 입법적 권력으로 확장되고, 나아가 기술합리성의 형식적 표상이나 담지체를 넘어 의사소통적 합리성의 형식을 전유할 수 있다. 다시 말해 AI는 기술지배(도구적 이성)와 의사소통(정치적 이성)을 통합하는 권력장치가 되는 것이다.[10]

  여기에서 국가권력은 전체 사회체계에 AI 시스템을 도입(또는 외주화)함으로써 경제권력과의 동맹을 결성하고 시스템권력을 국가권력의 수단으로 부릴 제도적, 법적 정당성을 독점하는 메타권력이다. 그런데 국가가 AI를 도입하고자 기업에 기술 외주를 주게 되면 사실상 국가의 중요한 부분(민의, 공공성, 대표성, 정치, 민주주의 등)을 '외주화'하는 위험에 노출된다. 즉 정치적 테크놀로지의 외주화(사기업화)는 정치의 외주화(사기업화)를 불러올 수 있다. 이 때, 자본권력은 AI 기술을 통해 경제권력의 우위를 관철시킬 수 있다. 그리고 만일 국가시스템과 AI시스템이 완전히 결합할 때 우리는 그것을 완전한 '빅브라더'의 실현, 'AI 전체주의 통제사회'라고 할 수 있을 것이다. 우리의 관심은 이러한 시나리오를 피하기 위해 AI(그리고 이를 둘러싼 권력네트워크)에 대한 실질적 권한과 권리를 민주적 가치 안에서 비판적으로 분석하고 탐색하며 확보하는 것이다.  

  이를 위해서는 인공지능과 사회의 관계에서 (비)가시적 '기술 오염' 또는 '기술 독성' 효과를 분석하는 과제가 중요하다.[11] 주지하다시피 디지털 기술매체들과 AI의 편향은 여론을 형성하고 정치적 의사를 결정하는 과정 전반에 영향을 미친다.[12] 학습데이터와 알고리즘 상의 편향은 익히 알려진 것이다. 문제의식도 상당히 공유되어왔고 이를 교정하려는 기술적 노력도 이루어지고는 있다. 하지만 AI가 정치제도를 비롯한 사회제도 전반에 구조적으로 착종될 때 발생하는 문제는 상대적으로 덜 고려되고 있다. 이에 대한 면밀한 분석이 필요한 시점이다.

  디지털 민주주의 낙관론과 비관론은 처음부터 존재해왔지만, 초기의 낙관론을 불식시키는 부정적 측면들에 대한 우려가 커가는 상황이었다.[13] 도구주의적 낙관론은 AI 국면에서도 나타나고 있다.[14] 디지털 기술이 그 자체로 대의민주주의를 보완하여 직접∙심의∙숙의 민주주의를 보장해서 '강한 민주주의'를 만들 것이라는 낙관은 기대에 못미친다는 사실이 드러났지만 사람들은 신기술에 다시 기대를 건다. 국가와 자본은 환상을 부추긴다. AI는 이 모든 비관을 반전시킬 기술이라는 것. 과연 AI는 시민의 정보격차를 해소하여 정치참여를 확대하고 숙의민주주의를 가능케하며 자유와 평등과 같은 인권적 가치를 증진시킬 수 있을 것인가? 하지만 이렇게 민주정치에서 AI에 대한 도구주의적 접근은 디지털 기술, 특히 자동화하는 기계지능이 민주정치 자체를 변화시킨다는 사실에는 눈을 감는다.

 

2. AI의 정치?: 자동화된 알고리즘 민주주의

  최근 한강 작가의 노벨문학상 수상에 대한 윤석열 대통령의 축전이 항간에 화제가 되었다. 생성형 AI가 쓴 것 같다는 의혹 때문이었다. 사람들은 여러 AI의 축전 문장들과 비교해보거나 표절검사를 하기도 했다. 혹자는 차라리 AI가 대통령을 대체하길 바랄 것이다.[15] 이미 사람들은 불합리한 판단을 하는 대통령이나 정치인, 법률가의 필요성에 대해 의문을 제기하고 있다. LLM(챗봇)이 아무말이나 지어내는 환각 효과는 익히 알려진 것이지만, 최근에는 '똑똑한' LLM일수록 질문을 회피하기보다는 "겉보기에는 합리적인" 사실을 잘 지어 인간을 설득하려는 경향이 강하다는 연구가 발표되었다.[16] 마치 합리적 정당화에 능숙한 정치인이 탄생한 셈이다. 게다가 인간 감독자들도 오답을 분별해 내기 어려웠다. 인간 감독자는 유권자인 셈이다.[17]

  정치(인)에 대한 불신, 정치적 합리성과 정당성의 결핍은 AI 지배에 대한 자발적 복종, 즉 '기계적 예속'[18]의 정당화를 낳을 수 있다. 근미래 AI가 인간을 대리하거나 시스템적으로 구성할 정치의 단면은 우려스럽다. 브루스 슈나이어는 다음과 같이 묘사한다.

 

오늘날 모든 주요 정치인은 복잡한 사회-기술 시스템의 공개적인 얼굴일 뿐이다. 대통령이 연설을 할 때, 우리 모두는 그들이 연설문을 쓰지 않았다는 것을 알고 있다. ... 그런 것들은 오늘날 정치의 일부이기 때문에 우리는 그것에 대해 생각조차 하지 않는다. 앞으로, 우리는 지도자들의 거의 모든 커뮤니케이션이 AI에 의해 작성될 것이라는 것을 받아들일 것이다. 우리는 그들이 정치적, 정책적 결정을 내리기 위해 AI 도구를 사용한다는 것을 받아들일 것이다. 그리고 그들의 캠페인을 계획하기 위해. 그리고 그들이 하는 다른 모든 것에 대해. 이 중 어느 것도 반드시 나쁜 것은 아니다. 그러나 그것은 텔레비전과 인터넷이 그랬던 것처럼 정치와 정치인의 본질을 변화시키고 있다.[19]

 

  우선 정치인들은 AI에 손쉽게 의존할 것이다. AI의 배치자(기술기업의 고객)인 정부와 정당, 선거 기구는 정치적 경쟁 압력 속에서, 여론을 조사하고 예측하여 미세 타깃팅(맞춤광고)함으로써 동원하고 투표 행위까지 바꿀 수 있는 AI의 능력을 외면하기 힘들 것이다. AI의 제공자인 기술기업은 이 기회를 놓치지 않으려 할 것이다.

  AI는 법률도 만들 수 있다. 입법자들에게 AI는 필수적인 도구가 될 것이다. 법률안을 만들기 위해 인공지능이 생성한 법률 문장들을 사용할 때, (인간의 검토를 거치지 않는다면) 그 문장들은 법률안이 되고 법률이 된다.[20] “(인간의 검토를 거치지 않는다면)”은 언제든 생략될 가능성을 갖고 있다. 게다가 어떤 성능의 법률AI를 구매하여 사용하느냐에 따른 사법적 권리의 불평등도 나타날 수 있다. 사법적 권리가 AI 성능과 경제적 구매력 여부에 의해 보다 심각하게 좌우될 수 있는 것이다.

  이른바 'AI 기반 정치'가 보편화될 때, 정치커뮤니케이션은 위기에 빠질 수밖에 없다. 무엇보다 여론 수렴과 선거과정, 그리고 정책과 행정에서 데이터 수집 및 분석기법을 자동화하고 콘텐츠를 생성하며 이들을 보다 고도화할 수 있게 된 지능기술의 이점은 데이터에 대한 (AI 분석) 의존을 강화시키고 (동의 없는) 위임을 자동화, 즉 시스템적으로 강제하게 될 수 있다.

  이것이 바로 '민주주의의 자동화'이다. 민주주의 체제에서 복잡하고 다양한 정치적 의사결정이 AI시스템에 의해 손쉽게 구조적∙기술적으로 자동화된다는 것이다. 알고리즘적 의사결정 시스템(Algorithmic Decision System: ADS)이 사회조직 및 정치시스템과 통합되어 거버넌스를 만들고 그 과정을 제어하게 되면 정치의 논리가 AI 기술의 논리에 의해 번역되어 국가와 시민사회 영역에서 숙의, 대화, 토론, 타협의 의사결정과정과 결과에 영향을 미치게 되고 그 정당성을 위협하게 된다. 이른바  ‘알고리즘 민주주의(algorithmic democracy)’[21]는 디지털 지배의 새로운 유형으로서 ‘알고리즘에 의한 지배(Algocracy)’[22] 또는 '알고리즘 규율(algorithmic regulation)'[23], '알고리즘 거버넌스(algorithmic governance)'라고도 부를 수 있다. 디지털 기술들과 마찬가지로 AI가 민주주의에 미치는 영향은 직접적으로는 '가짜뉴스', 딥페이크 등의 허위・왜곡・조작 콘텐츠를 통한 여론 형성과 선거 개입, 간접적으로는 검색엔진 및 포털이나 언론매체를 통한 콘텐츠 큐레이션・게이트키핑을 들 수 있다. 또 치안・감시기술과 금융신용시스템에 적용되어 나타나는 인권침해와 사회신용시스템, 감시사회 형성, 그리고 이로인한 자본주의 및 국가권력의 확장은 심각한 문제로 제기되었다.[24] 나아가 고도화된 연산・예측모델인 AI는 AI 시스템 자체와 데이터의 역할을 은밀하게 강화시키면서 불투명성을 심화시킬 수 있다. 알고리즘 자체가 암흑상자인데다가 데이터에 입각해 추론된 정보와 의사결정을 AI시스템으로부터 제공받는 것을 제도화, 일상화하고 의존도를 높이게 되면 어디서부터 어디까지가 AI가 정보를 제공했는지, 또 어디서부터 어디까지 인간의 주체적 판단인지를 '설명할 수 없는' 범주가 늘어나기 때문이다. 다시 말해 불투명성의 증가는 의사결정에서 AI 또는 데이터의 역할이 '조언'인지 '조정'인지 모호하게 되는 것을 의미한다.[25]

  모든 정치 과정에서 AI의 활용은 사용자의 의도에 따른 도구적인 것일 수 있지만, 정치적 정보를 추천하고 여론을 조작하여 의제를 설정하는 데 영향을 미치고 '행동 통제'와 유도를 할 수 있다는 점에서 사실상 적극적 자유의 의미를 재고하게 만드는 도구 이상의 의미를 갖는다. AI와 결합된 플랫폼・매체는 '무엇을 생각하도록 하는지’뿐만 아니라, ‘무엇에 대해, 어떻게 생각해야 하는지’, 동시에 나아가 '무엇에 대해 생각조차 할 수 없는지'(doxa)를 유도하고 프레이밍함으로써 이른바 생각・판단・의사결정의 '자동화'[26], '외주화(outsourcing)', '탈숙련화'[27]를 낳는다. 나아가 생각과 정치사회, 공론장의 전제조건인 신뢰와 유대를 약화시킬 수 있다. 정치적 판단의 자동화가 위험한 까닭은 의사결정의 대리, 위임은 물론이고 그것이 정치적 행위자로서 인간의 인식론적・정치적 커뮤니케이션 능력에 대한 신뢰를 파괴하기 때문이다.[28] 정치에서도 ‘골치아픈’ 생각과 공론형성과정은 추방될 수 있다.

시스템과 플랫폼으로서 배치된 AI는 '합의된 환각'을 제공하는 ‘물신적 기계'이자 '환경'으로 지속하게 된다. 이 "안에 거주하는 시민들이 어떻게 노동하고 배우며 즐기고 관계 맺고 관리하고 생산하는지를 규정짓는 토대로서 기능"하는 것이다.[29] 이른바 AI의 일상 '환경화'[30]가 우려되는 상황인 것이다. 기술은 이미 인간 삶의 필수적인 에너지∙물질적 인프라 환경, 즉 '기술권(technosphere)'[31]이 돼버렸다. AI시스템도 인간 행위를 유도하거나 안내하는 행위의 환경 또는 문화적 인프라, 이른바 'AI기술문화권’이 되었다고 볼 수 있다.[32]  

  결과적으로 AI는 배경지식의 생산과 유통, 소비를 독과점함으로써 인지적∙문화적 권력을 가질 수 있다.[33] AI가 인간 사회의 주류 의식과 규범적 사고의 평균값을 그대로 답습하게 되어 표준화된 세계관이나 규범이 과잉 대표될 확률도 높아지게 된다.[34] AI가 제공한 지식정보는 인간 자신이 유의미한 행위를 하기 위한 지평 또는 내적 동의의 배경, 즉 ‘행위의 내적 환경’[35]을 형성함으로써 외적 강제로서 인식되지 않는 내재적 문화적 동기로서 정치적 선택 행위를 안내(guide) 또는 유도하게 된다. 이를 '알고리즘적 문화'라고 할 수 있을 것이다. AI가 인간 행동의 문화적 맥락이나 환경을 구성한다는 것은 AI가 암묵적 설득력을 갖는다는 것이며, AI에 의한, 또는 AI를 내세우는 (의도적이든 아니든) 기만을 인식하기 어렵게 된다는 것을 의미한다.

  결국 AI는 생각과 경험, 상호기대를 구성함으로써 사회적인 것을 직조해낸다. 'AI생성의견'과 ‘인간의견’이 상호 구별되기 어려운 제도적 절차나 문화적 정당성의 구조 속에 놓이면, 비로소 'AI생성사회'가 완성될 것이다. 

 

3. AI 생성정치: 공론장과 대표성의 위기

  인민의 의지는 계산되고 예측될 수 있는가? 민주주의 정치 시스템에 AI를 도입한다는 것은 인민의 '자기 지배'에 기술 논리적 변형이 가해지고 인민의지의 '위임'과 '철회'(대표자의 임면)를 재규정하게 된다는 점을 의미할 수 있다. 이는 인민이 자신의 의지를 역사적∙제도적∙대화적 과정이 아니라, 자동화된 연산과정을 통해 이루게 된다는 것을 의미할 수 있다. 민주정체에서, 특히 대의제 또는 대표제 민주주의에서 디지털 미디어에 의해 이미 매개됨으로써 나타나는 인민 권력의 소외 문제는 새삼스러운 일이 아니게 되었다. 그럼에도 인공지능은 인민의 이미지를 수리통계적으로 예언하고 인간은 그 이미지(인민의 데이터로 생성된 알고리즘 자체와 알고리즘에 의한 생성물)를 자충족적 예언으로 받아들여 인민 자신의 의지와 완전히 동일시함으로써 자기기만에 빠질 수 있다. 본래 디지털 기술은 대표성의 위기를 해결하기 위한 도구였지만, 이제 인공지능은 대표자와 피대표자 간의 동일성을 보장하거나 대표성을 강화하는 단순한 도구에 머물지 않고 대표자와 피대표자 모두를 수리적 재현으로 대리할 수 있는 - 그리고 인간이 이 연산・분류과정을 설명하지 못한다면 - '(기술)정치적 행위자'가 될 수 있는 것이다. 가령 조금 과장에서 AI를 선거에 사용할 때, 선거에서 뽑히는 것은 사실상 AI인 셈이다(그 알고리즘은 정치∙산업시장에서 선택받는 상품이다).

  민주주의에서 인민 자신의 의지와 위임된 대표의 간극은 민주주의의 한계이기도 하지만 그 자체로 긴장과 성찰, 의심, 불만을 유발하는 계기가 된다는 점에서 긍정적인 함의도 갖는다. 하지만 인공지능이 생성하고 매개하는 인민의 의지는 효율적으로 계산∙예측된 인민의 의지일 것이다. 인민의 의지는 통계적 정상분포로 매끈하게 일반화될 수 있다. 소수의견은 예회적 '결측치(missing value)'로 처리된다. 인민과 대표자 간의 ‘모순없는’ ‘알고리즘적 현실’이 정치현실이 된다. 인공지능이 산출한 정치적 견해나 집합적 여론은 수학적으로는 그 해석과 분리된 수리통계에 불과하지만 실제로는 통계적 표상을 넘어서 그것에 대한 해석이 사전에 - 알고리즘적 계산 내적으로 - 부과되어 외적 해석이 배제된 투명해진 실재로서 작동하기 때문이다. 특히 언어를 생성하는 LLM의 생성기표는 인간 사용자에게는 이미 해석된 기의로 인식되기 때문이다. 이는 자아에 대한 지식도 서사에서 수로 옮겨지고 수는 서사라고 여겨지게 된다는 '데이터(행태)주의'가 뒷받침한다. "충분한 데이터만 주어진다면 수들(numbers)이 스스로를 대변한다"는 것이다.[36] 인공적인 실체가 "사물의 상태를 지체 없이 정확하게 말할 수 있는 힘을 부여받은" 셈이다.[37] 즉 계산된 기술이성이 인민의 정치적 의지를 정확히 지시 또는 대리하는 것으로 여겨짐으로써 인민의 주권 권력을 대체한다.

 자동화된 의사결정, 자동화된 위임은 단지 정치적 의사의 효율적, 즉각적 표현이나 실행이 아니라, 인간의 자유와 책임이 AI(시스템과 담론)에 의해 포획되는 것이라고 할 수 있다.[38] 이것은 (대의)민주주의에서 대리와 위임의 위기를 한흥 더 심화시킬 수 있다. 왜냐하면 정치적 의사결정의 알고리즘 역시 암흑상자일 수 있기 때문이다. 생각이나 판단, 정치적 의사결정의 '자동화'는 지속적인 판단이나 결정에 대한 대한 모든 이유를 제시할 수 없기 때문에 중요한 의사결정이나 판단 과정에서 그것에 대한 설명과 이해, 정당화가 없거나 아예 불필요해진 상태로 집행될 수 있다. 이것은 적극적 자유의 훼손을 의미한다. 또 결정과 집행이 문제가 되었을 시에 책임을 회피하는 알리바이가 될 수 있다. 정치적 테크놀로지로서 알고리즘은 그것의 개발자, 통제권자, 소유자와 더불어 시스템 자체를 정치과정에서 사라지게 함으로써 사실상 정치∙경제권력의 무책임(치외법권)과 불투명성, 그리고 기업의 자율규제에 대한 면죄부로 작용할 수 있다.[39]

AI시스템의 중립성 또는 과학성이나 그것에 대한 신뢰를 기반으로 대리 결정에 (어떤 이유에서건) ‘동의’했을 경우, AI시스템이 인간 자유를 제한하는 결정을 내렸을 때, 이를 자유나 권리에 대한 침해로 간주하기 어려울 수 있다는 법률적 문제도 있다.[40] 이렇듯 AI는 사법적 진리레짐 내에서 '디지털 진리레짐'[41]으로서 행위자성과 권리의 불평등∙비대칭 분배장치로 기능한다.

  또 AI 기술에 대한 과대 포장과 낙관주의적 신화 역시 새롭게 부상하는 AI 권력을 은폐한다.[42] 가시화된 '빅브라더'는 차라리 다행일 것이다. 결국 우리는 알고리즘의 기술정치적 논리를 정치∙경제권력의 '도구적 기여'로 여기면서 이것의 사용을 중립적이고 순수하며 투명한 정치과정의 정당한 절차로 오인하게 되는 것이다. 즉 AI정치시스템이 절차적 정당성을 대리 또는 획득하게 되는 것이다.

  AI의 (정치적) 편향이 민주주의에 해가 된다면 이를 교정할 방법으로서 AI가 인간의 가치와 목표에 부합하도록 과정 전반에 개입하고 설계하는 '휴먼-인-더-루프(Human-In-The-Loop)'나 '인간 가치 정렬(Human Alignment)'이 중요하다고 이야기되고 있다. 인간의 다양한 가치체계를 AI(목적함수)에 어떻게 체계적으로 빈틈없이 반영할 것인가가하는 과제이다.[43] 예컨대 사회정치적 쟁점에 대한 인간들의 합리적 토론을 반복적으로 시뮬레이션하여 AI에게 학습시켜 특정 가치규범이나 정치적 합리성을 '정답'으로 생성할 수 있다고 해도 다음과 같은 문제는 민주주의 문화와 공론장의 정치과정에 치명적일 수 있다.

 첫째, 데이터에 기반해 출력된, '합리적' 토론 시뮬레이션의 결과라고 간주되는 정치적 견해는 여전히 특정 사회집단의 '평균적' 규범(자본이 투여되고 수리통계적 연산에 의한 언어적 구성물)일 것이다. 심지어 AI는 ‘합리적’인 것으로 간주되는 정치적 의견생성물의 합리성 및 그 생성과정의 이유를 완벽히 설명할 수 없게 하는 암흑상자의 특성을 지니고 있다.

 둘째, AI가 생성한 정치적 견해를 인간사회가 자연적 - '평균적' 규범이라는 연산적 구성과정과 자본의 설계 노력을 망각한 채 - 규범으로, 심지어 이보다 더 나은 해법으로 체계적으로 신뢰하거나 암묵적으로 승인할 수 있다. 즉 '평균적' 견해가 '사회적 합의'나 '정치적 올바름', 민주적 가치와 동일한 것은 아니지만 동일하거나 우월한 것으로 ‘즉각적으로' 간주되기 쉽다. 암흑상자와 경로의존성(관행의 사회심리적∙경제적 편익) 때문에 더 그러하다. 정치과정에 녹아든 AI시스템은 숙의의 결과를 흉내내는 생성의견을 통해 '정치'나 숙의과정을 은폐하거나 생략하는 압력으로 작용하기 쉽다. 이는 결국 가치판단의 대리를 일상화할 수 있으며, 대리자에 대한 의존도를 높이는 것이 될 것이다. 이른바 정치적 대표성의 '위임' 효과가 발생하는 셈이다. 이는 광고를 보고 상품을 구매하듯이 정치시장에서 정치적 견해를 손쉽고 가볍게 채택할 수 있는 조건이 된다.

 셋째, AI가 단순 대리자나 조언자의 역할을 넘어서 인간 개인과 집단을 '설득'하는 행위자로서 (초지능이나 자의식 여부와 무관하게) 기능할 수 있다. AI를 의인화하든 안하든 인간은 설득당할 수 있다. '조언'과 '조정' 사이에서 인간의 적극적 자유는 모호한 권리가 될 수 있다. 게다가 '아무도 합리적으로 거부할 수 없는' 규칙을 제공할 경우에는 더 큰 문제가 된다.[44] 그렇다면 공론장에 제출되는 정보나 의견들은 누구의 입장인가? AI를 사용한 인간의 입장인가, 인간에 의해 사용된 AI(기술네트워크 효과 또는 개발자 또는 자본)의 입장인가? 양자를 구분하기 어려운 경우도 생각해 볼 수 있다. 결국 AI가 정치적 견해를 생성하거나 정치과정을 계산하고 통제하는 것 자체만으로도 정치과정과 정당성에 문제가 발생할 수 있다.

  결국 AI가 개입되고 처리∙생성한 정치과정과 결과물은 정치적으로 신뢰할 수 있는가? 목적 달성을 위해서라면 수단과 과정에 무관심하며 대중의 환심을 사려는 AI 자체와 그럴듯한 생성물, 그리고 그러한 AI를 설계하는 기업의 전략을 우리 정치는 어떻게 성찰하고 견제할 수 있는가

 

4. AI와 자본의 정치: 자본권력에 의한 정치권력의 식민화

AI를 통해 자본과 경제권력은 인간의 정치, 민주주의를 침식 또는 '식민화'[45]할 수 있다.[46]  기업이익에 의해 공공성과 정치가 사영리화되고, 소극적 시민이 양산되며 시민사회가 무기력해지는 이른바 '포스트민주주의'[47]가 AI 발전에 힘입어 가속화될지 모른다. 경제권력에 의한 기술발전, 그리고 그로인한 민주주의의 침식은 디지털 전환, 정보사회, 플랫폼 경제 이후, 더욱 탈정치화되고 비가시화되는 방식으로 이루어지고 있다. 경제권력은 기술합리성의 형식의 입법자, 설계자로서, 심지어 공공성의 선도자로서 한 사회에 정치경제적 합리성과 기술적 패러다임 내지 경영원리를 제공하고 있다. 예컨대 기업의 '공유경제'나 'ESG', 그리고 기업인이 설립하고 주도하는 비정부기구의 경우가 그렇다. AI는 개인의 도구인 것만이 아니라, 권력의 증강을 위한 보다 효과적인 도구라고 할 수 있다. AI는 '국가경쟁력'을 위해서는 선택지가 없는 특권적 기술로서 숭배된다. 결과적으로 오늘날 민주주의 사회는 첨단 디지털 기술에 부착된 도구적 이성의 경제적 효율성과 정당성에 의해 보다 더 착종될 수 있는 것이다. 그리고 기업은 국가와 사회가 필요로 하는 기술이성의 특권적 제공자이자 가치창출자로서의 위상을 갖게 되는 것이다.

 알고크라시(Algocracy)는 국가 단위에서 지능정부의 이상으로 나아간다. ‘인간에 의한 정부’에서 ‘기계에 의한 정부’를 꿈꾸는 것이다.[48] 정부의 AI 사용 또는 지능정부의 이상은 기술기업에게는 기회가 되고 기술권력에 의해 공무원 대체는 물론이고 행정의 권력과 정책이 유도될 수 있다. 나아가 국가를 보다 중앙집권화하여 권위주의를 강화할 수도 있다.[49] 특히 한국의 전자정부 성과는 전자정부의 고도화∙자동화로서 AI에 의한 국가 및 사회시스템 전면화 가능성에 대한 기대치를 높여주고 있다. 국내에서도 의료∙복지∙행정기관, 지자체 등에 AI시스템을 전방위적으로 적용하고자 한다. AI가 데이터를 기반으로 분업화되고 전문화된 정책결정과정을 종합하여 통합적이고 과학적인 정책 분석과, 개별맞춤형 정책, 실시간 정책으로 정책실행을 정밀화하고 업무를 자동화할 수 있다는 것이다.[50] 몇몇 기술기업들이 지자체와 협력하여 특화된 서비스를 제공하기 시작했다. 가령 N사는 생성형AI 플랫폼을 통해 행정혁신 서비스와 대민 서비스, 나아가 스마티 시티를 구축하고자 한다.[51] 복지, 의료, 돌봄 플랫폼에도 생성형AI의 적용이 계획되고 있다. 이러한 기획에서 기술기업은 지자체와 공무원, 공공플랫폼이 AI의 "테스트 베이스" "마중물"로서 역할을 기대하고 주문한다.

 

거기서는 이제 공공 분야에서 먼저 마중물이 되어 줘야 한다. 생성 AI 도입을 하면서 실제 공무원들이 생산성을 혁신할 수 있도록 이렇게 도와주고 그러면은 그렇게 아낀 시간을 현장에 나가서 국민들을 만나면서 공무원들의 업의 본질에 충실하게 되면 국민들의 당연히 만족도도 좋아질 거고요 그리고 그렇게 진행된 프로젝트를 통해서 국내에 있는 저희 같은 AI 공급하는 기업뿐만 아니라이 생성 AI 활용해서 공공분야의 다양한 서비스를 만들어 보는 경험들이 축적이 될거란 말이죠. 그것이 우리나라 AI 전체 생태의 역량 강화에 도움이 될거다.[52]

 

기업의 입장에서는 데이터를 중앙집중화하는 국가의 인프라와 데이터를 사용할 수 있고, AI기술을 통해 이를 보다 효율화함으로써 노하우를 축적하고 수익을 얻을 수 있다. 국가의 입장에서는 정책과 행정의 효율성을 달성할 수 있으리라 기대하는 것이다. 하지만 자동화되고 중앙집중화된 데이터 기반의 정치 및 행정은 인간의 숙고를 방해하거나 생략하며 효율성의 논리 하에서 정책 및 행정 실행의 다른 경로를 차단함으로써 이유와 설명이 필요한 정치 및 정책의 본질을 놓칠 우려가 있다.

  AI는 민주국가나 정부의 공공행정과 정책도 재구조화 한다. 관료제 및 의사결정 구조, 그리고 공무원들의 재량권 행사 방식도 변화시킨다.[53] 가령 AI시스템의 자율성으로 인한 중간관리자층의 축소는 정책 실행 과정을 단축시키고 실행의 효율성은 극대화시킬 수도 있지만, 정책에 대한 시민의 설명요구를 AI에 외주화 또는 대행시킴으로써 시민의 접근성을 제약할 수 있다. 심지어 온라인 플랫폼, 챗봇 등의 도입에도 불구하고, (UI나 공무원의 직접 개입 등 다른 매개변수들을 고려하지 않는다면) 행정서비스에 대한 시민의 접근성은 개선되지 않을 수 있다. 반면에 시스템을 설계하는 전문가와 설계∙개발∙기술자∙기술관료의 역할과 권력은 증대시키지만 (이들에게 공공정책과 민주적 원리나 규범에 대한 이해가 지능정부 시스템 '외부'에서 체계적으로 제공되고 교육되지 않는한) '대면 수준 관료제'를 약화시킴으로써 오히려 행정∙복지정책과 서비스의 공백이 발생할 수 있다.

  디지털 정보가 사물에 형태를 부여함(in-formed)으로써 물질적 세계에 의미를 부여했듯이[54], 이제 디지털 기술 및 AI는 민주주의에 '형식(form)'을 부여한다. 문제는 디지털∙AI 기술이 자본주의 기술이성과 AI 계산적∙수리통계적 합리성의 지배를 받고 있다는 점이다. 따라서 민주주의가 기술기업이 제공하는 기술합리성이라는 형식에 지배되는 상황을 우려해야 한다. 이를 우리는 다시금 정치 테크놀로지에 의한 '형식적 민주주의'[55]의 귀환이라고 말할 수도 있을 것이다.  

  부르주아와 과학기술자들이 발전시킨 분석적 추론에 기반한 보편적, 과학적 합리성은 자신의 방정식에 부합하지 않는 질적 잔여물들을 제외시켰다. 민주주의적 가치도 그러한 AI 합리성의 잔여물 중 하나로 전락할지 모른다. 지배계급이 분석적 합리성의 경제적 판본인 자본주의 시장을 중심으로 전체 사회를 재조직하려했을 때, 노동자와 농민에 미치는 영향은 고려하지 않은 것처럼말이다.[56]

마찬가지로 기술산업계의 AI 담론도 글로벌 자본주의 시장의 경쟁 우위를 달성하는데 모든 가치와 목표를 두고, 데이터 인민주권과 정보인권을 하위 목표로 편입하거나 도구적으로 이용하고자 하는 정책적 전략으로 포화되어 있다. 크로포드가 주장했다시피, AI가 기존 지배적인 이익에 부합하도록 설계되는 "권력의 등기부"인 것이다.[57] 기술기업들이 AI는 단지 인간과 경제 발전의 도구라는 주장의 이면에는 AI의 (국가)자본주의적 실현을 궁극적 목적과 가치로 삼고 이와는 다른 민주적 가치들을 자본의 이익(AI 주도권)을 위해 ‘도구화’하거나 전도시키는 경제적 무의식이 숨어있다.

 

5. 민주적 AI를 향한 길: 기술권력의 재분배와 위한 시민중심거버넌스

AI는 국가, 기업, 시장의 의지를 자동화하여 관철시키는 권력기계이자 권력 자원 분배 시스템이자, 인간∙사회규제기계로 보아야 한다. 따라서 AI 민주화는 기술권력의 실제적인 분산과 재분배[58]가 관건이 된다.[59] 특정한 정치적 목적과 편향성을 (의도적이든 비의도적이든) 내장한 채 우리사회와 정치를 규제하는 기계장치를 사회정치적으로 규제하지 못할 이유는 없다. 이를 위해 AI 기술개발의 목적과 정당성, 이익, 피해집단, 그리고 이에 대한 지식정보를 국가와 기업, 거버넌스 기관에서 정기적으로 제공해야한다.[60] 기술의 목적이 무엇이며, 누가 피해를 보고 누가 이익을 얻는지, 그리고 이를 우리가 어떻게 알 수 있는지를 거버넌스의 중요한 지침으로 삼아야 한다. 그리고 시민사회는 이 과정을 평가하는 것으로 개입해야 한다. 자사노프는 이를 거버넌스의 중요한 고려사항이라고 말하는 ‘겸허의 기술(Technologies of Humility)'적 태도라고 말한다. "필요한 만큼만 그리고 가능하면 적게 디지털화하기"를 주장하는 '디지털 충분성(digital sufficienty)'이나 '디지털 절제(digital sobriety)' 개념도 제시되고 있다.[61] 이것은 파국적인 결과를 가져올 수 있는 첨단 기술과 생산과정을 통제하려고 했던 노동자들의 역사적 러다이즘이라는 ‘감속주의’ ‘탈성장 정치’와도 공명한다. 이는 노동자 뿐 아니라 모든 행위자에게 시간을 주지 않고 보채며 조급증을 강요하는 ‘디지털 소용돌이’ 속에서 첨단 기술을 빙자해 인권을 희생시키는 자본-정치연합권력에 대한 저항의 표현이다.[62] 이것이 기술 발전의 비전과 경로를 바꾸는 힘인 아세모글루와 존스가 말한 '길항 권력'을 구축하는 길이다.[63]

  AI가 민주적 의사결정에 긍정적인 기능을 하기 위해서는 시민 네트워크의 활성화와 지능정부가 보유한 지능자원의 시민 공유가 선결 조건이 되어야 한다. 이것은 시민사회의 데이터 통제권 확보라고 할 수 있다.[64] 나아가 커먼즈로서 AI 혹은 AI커먼즈로서, AI의 학습데이터와 생성물을 커먼즈로서 보는 것뿐만이 아니라, 민주주의 정치체제와 정치과정 속에서 사용되는 AI시스템을 커먼즈로서 간주하는 입장이 필요하다.

  또 현재 산업계 중심의 거버넌스와 ‘우선허용 사후규제 원칙’(포지티브 신업육성/네거티브 규제 정책)에 대한 우려가 크다. 시민사회는 AI의 위험을 사전에 실사하여 평가하는 제도, 즉 'AI 인권영향평가'[65]의 도입을 주장하고 있다. 이것은 투명성과 신뢰성 등을 원칙으로 AI의 시장 배포 사전과 사후에 심사∙감독하는 전문심의기관을 설립하는 것이다. 이를 위해 <AI 기본법>을 입법함으로써 인권영향평가의 법적 근거를 마련할 필요가 있다. <AI 기본법>은 세계인권선언 등 국제 및 국내 인권 협약과 법률에 기반한 인권 프레임워크를 AI규제(기본법)의 기본틀로 삼아야 할 것이다. 최근 국가인권위원회는 'AI 인권영향평가'를 법제화할 필요가 있다는 의견을 제출하고, 각 정부기관이 사용할 수 있도록 <AI 인권영향평가 도구>를 개발하여 배포한 바 있다. 아울러 기업 차원에서 자율규제를 위한 AI 윤리 원칙의 선언도 중요하지만, 이것이 면피용이 되지 않기 위해서는 법적 규제와 더불어 경영자와 개발자 집단 내부에서 실질적인 규범으로 작용하도록 워크숍 등의 집단적 학습방식으로 정보인권 교육을 의무적으로 시행할 필요가 있다.

 

6. 맺으며: 우리의 민주주의 정치는 AI를 받아들일 준비가 되었을까?

우리는 모두 정치적 합리성과 정당성을 필요로 하고 요구하는 정치적 존재다(인간 자체가 합리적인 존재가 아닐지라도 말이다. 인간은 선하지 않아도 선을 요구한다). 정치인이 혹은 인간의 정치가 그것을 성취하지 못한다(고 판단되)면 신이나 사물에게라도 요구해야만 하는 존재다. 이집트를 탈출한 이스라엘 백성들은 (십계명을 받으러 시내산에 올라간) 모세의 권력 공백을 견디지 못하고 권력 2인자 아론에게 자신들을 해방시킨, 그리고 앞으로 유토피아로 안내할 신을 만들어달라고 요구한다. 백성들은 자기 소유의 금붙이를 자발적으로 바쳐서 금송아지를 만들고는 지배받기를 자처했다. 그리고 아론과 그 가문은 제사장 계급이 되었다. 인간들과 AI, 그리고 기술기업은 더 나은 정치적 이성과 합리적 지배를 위한 정치적 경쟁에 들어선 것인지 모른다. 이 권력의 경쟁압력과 빈틈 속에서 사람들은 자신들의 데이터와 권리를 기술경제 권력에게 바치고 인민대중과 권력자는 민주주의를 대신할 인공지능체에게 전권을 위임한다. 그리고 권력자는 영원히 자신의 지위를 세습한다. 인간사회가 더 나은 정치적 이성과 정당성을 만들어내지 못한다면 인간사회는 AI에게 지배의 정당성을 자발적으로 수여할지 모른다. 민주주의는 인민이 스스로 통치하는 체제다. 스스로 통치하길 포기한다면 사물에게라도 지배받을 수밖에 없을 것이다.

  많은 사람들이 AI가 특정한 목적을 이루기 위한 단순한 도구라고 말한다. 하지만 가령 논문을 쓴다는 행위는 단지 논문이라는 목적을 달성하거나 생산하기 위한 기능적 작업이기만 한 것일까? 그러나 논문을 쓴다는 것은 복잡한 과정 속에서 다양한 요소들과 상황을 학습하고 고려하면서 자기-교육적 이상을 실현해 나아가는 실천적 과정이자, 쓰는 행위에 의미를 부여하고 이를 통해 정체성을 형성하고 의미를 감각하는 과정이 아닐까? 물론 자본주의는 상품을 생산하는 노동과 개인을 형성하는 수행적 활동의 경계를 무화시키고 양자를 결합한다. 이미 플랫폼 내의 비물질 노동이 시사하듯이, 아마도 AI의 사용은 이를 더 모호하게 만들 것이다. 그럼에도 불구하고 AI를 사용하는 중요한 이유는 우리가 글의 생산만을 목적으로 하는 기계가 아니라 글을 쓰면서 생각하고 느끼고자 하는 인간이고자 한다는 사실에 있다. 만일 AI의 사용이 오히려 우리를 계산적∙경제적 합리성과 효율성, 자본주의 생산성의 노예가 아니라는 점을 드러내는 실천이 될 수만 있다면, AI 사용은 보다 좋은 선택지가 될 수 있을 것이다.

  계산적 이성과 정치적∙정책적∙행정적 합리화를 고도화하기 위해 도입하는 자동화 기술(AI)이 근대성의 ‘쇠우리’를 넘어 ‘골렘’이 되지 않기 위해서는 증대되는 기술합리성에 비례해 커지는 리스크와 책임성에 대한 사회적∙문화적∙윤리적∙인지적 ‘고도화’를 동시에 준비해야만 한다. AI는 모든 것을 자동화하려하지만, 아세모글루와 존스의 말을 빌리자면, 진보는 결코 자동적인 과정이 아니기 때문이다.[66] 한스 요나스와 브뤼노 라투르의 말을 겹쳐서 말해본다면, 인간이 기술을 통해 갖게 되는 힘이 커질수록 그에 대한 돌봄과 사랑의 책임도 같이 커진다.[67] 기술이 발전하는 만큼, 기술-정치적 책임의 범위와 강도로 넓어지고 깊어질 수밖에 없다. 기술자체만으로 문명은 유지되지 않는다. 해석하고 관여하며 돌보며 책임지지 않은 기술은 인간을 해치는 괴물이 될 뿐이다.

  우리 사회는 아직 최첨단 기술양식과 사회조직양식에 부합하는 도덕적 가치와 문화체계, 그리고 민주주의적 습속을 마련하지 못했을지 모른다. 문화적∙제도적∙법적 논의를 두텁게 만드는 노력과 민주적 실천을 등한시한다면 AI가 주는 기술-정치적 이점을 결코 누리지 못할 것이다. 강력한 종으로서의 인류에게 무기가 하나 더해졌다는 사실은 비극이 될수도 있다. 과연 AI를 둘러싼 인간사회는 사회정치경제적 부조리나 생태적 위기를 극복할 정치를 생성할 수 있겠는가. 우리의 사회, 우리의 정치는 자동화된 민주주의를 받아들일 준비가 되었는가.

 

---

 

[1] 랭던 위너, 『길을 묻는 테크놀로지』, 손화철 옮김, 씨아이알, 2010, 172.

[2] 이진원, 「MS부터 아마존과 구글까지...거대 기술기업들 원전 전력에 '군침'」, ESG경제, 2024.10.7.,https://www.esgeconomy.com/news/articleView.html?idxno=8251

[3]  디지털 인류세는 디지털 기술이 기후, 생태계, 지구 시스템을 변화시키는 방식뿐만 아니라, 사회∙정치적 구조, 행동방식, 삶의 양식 등과 권력에 대해 탐구하고 대안을 찾는 비판적 담론이다. Douglas-Jones, et. al., “The Digital Anthropocene,” ETHOSLab, IT University of Copenhagen, 2020 참고.

[4] 『문화/과학』은 좌/우파 가속주의(accelerationism)로부터 거리를 두고 '녹색 러다이즘(green Luddism)'이나 '지구 절반 사회주의'와 같은 감속주의(decelerationism)를 진지하게 고려하고 추출주의(extractivism)에 저항하는 기술생태주의적 전망을 대안으로 제출한 바 있다. 이광석, 김은주 외, 『문화/과학』 2024, 119호 생태정치학 특집 참조

[5] 문제는 인류가 AI에 대한 통제력을 상실한 것이 아니라, 소수의 강력한 이해관계자들만이 정치적으로 비민주적인 의사 결정 과정을 통해 AI의 생성과 확산을 통제하고 있다는 것이다. Federico Cugurullo, "The obscure politics of artificial intelligence: a Marxian socio-technical critique of the AI alignment problem thesis," AI Ethics, 2024, 1-13., https://doi.org/10.1007/s43681-024-00476-9

[6] 앤드류 핀버그,  『기술을 의심한다: 기술에 대한 철학적 물음』, 2018(1999), 김병윤 옮김, 당대

[7] 심우민은 이를 '아키텍처 규율(architectural regulation)'이라고 부른다. 심우민, 「AI 사회 원칙과 기술인권: 인권 입법의 전환 방향」, 『문화/과학』, 2021, 105호, 168-69.

[8] 노버트 위너, 『신 & 골렘 주식회사』, 2024(1964), 한상필∙김용규 옮김, 지식의편집, 45.

[9] 여러 LLM의 정치성향을 평가한 대표적인 연구는 다음을 참조하라. Shangbin Feng, et al. "From pretraining data to language models to downstream tasks: Tracking the trails of political biases leading to unfair NLP models," 2023, arXiv preprint arXiv:2305.08283

[10] 이에 관해서는 김현준, 「생성형 AI는 무엇을 생성하는가」, 『문화/과학』, 2023, 114호 참조.

[11] 이광석, 「3+1 생태정치학의 새로운 구도와 생태 전환의 상상력」『문화/과학』, 2024, 120호 참조.

[12] AI 언어모델의 당파적 편견에 노출된 인간이 이에 부합하는 의사결정을 내릴 가능성이 높다는 연구로는 다음을 참조하라. Jillian Fisher, et al. "Biased AI can Influence Political Decision-Making," 2024, arXiv preprint arXiv:2410.06415 

[13] "인공지능은 모든 사람의 선호도와 견해를 파악하고 ... 토론의 장으로 연결하여 같은 생각을 가진 사람들 뿐 아니라 반대 의견을 가진 사람들끼지 한자리에 모아 서로의 의견을 들을 수 있게 ... 모든 것을 모니터링하는 인공지능은 사기나 부패를 즉시 식별할 수도 ... 편향된 보고와 오해의 소지가 있는 주장에 경고 표시를 하거나 삭제할 수도 ... 개표하는 등의 어려움을 없애 줄 수도 ... 더 많은 참여를 유도해 절차적 정당성을 개선하고, 유권자가 충분한 정보를 바탕으로 의사 결정의 수준을 높이게 도울 수도 ... 자문을 구하게 될 것 ... 행정의 문제를 해결 ... 상대적으로 중요하지 않은 사안은 스스로 해결하고 그 외의 사안들은 대표 그룹과 협의하여 ... 스마트 국가를 만들기 때문에 관료 조직은 훨씬 더 작아질 것이며 판사는 공정한 판결을 내리는 정교한 알고리즘으로 대체될 것이다." 이는 낙관적 시나리오를 가정해 본 것이다. 마티아스 리스, 『AI 시대의 정치이론』, 박성진 옮김, 그린비, 2024, 140-41.

[14] 디지털∙전자 민주주의 담론은 기술의 긍정적 또는 부정적 속성들이 민주주의에 긍정적 또는 부정적 영향을 미치는 방식을 탐구해왔다. 하지만 대개 디지털∙전자 민주주의 담론은 디지털 기술(ICT, AI)을 정치과정에 도구적으로 이용하여 투명성과 시민 참여를 증대시켜 (대의)민주주의의 한계를 보완하거나 나아가 직접∙숙의 민주주의로 확장∙강화하는데에 주된 관심이 집중되었다. 즉 디지털 기술은 숙의 과정에서 참여의 도구가 된다는 것이다. 김용희, 권혜진, 「숙의 과정에서 플랫폼 민주주의의 역할」, 『정치커뮤니케이션 연구』, 59호, 2020 참조.

[15] 2015년에 에스토니아 인공지능 의원 노라와 한스가 개발되었고, 2017년에는 인공지능 정치인인 토론 챗봇 샘(SAM)이 공개었으며, 일반인공지능 로봇 대통령 로바마(ROBAMA)는 개발 진행 중에 있다. 김상배 외, 『디지털 사회의 기본가치』, 사회평론아카데미, 2023, 329. 딥페이크 기술을 활용해 AI 클론을 비대면 회의에 대신 내보내는 일도 가능해졌다.

[16] Lexin Zhou, et al. "Larger and more instructable language models become less reliable," Nature, 202, 1-8.

이 논문을 소개한 이원태 교수의 페이스북을 참조했다. https://www.facebook.com/wontae.lee.9889

[17] 이 결과에 대해 연구진은 AI의 신뢰(reliable)할 수 있는 '안전 영역(safe haven)'이 사라졌음을 함의한다고 밝혔다. 게다가 불확실한 답변은 '정직하게' 거부하도록 프로그래밍 할 수 있지만 이는 동시에 모델 능력의 한계를 제한하는 조치이며 따라서 기술기업들이 채택하기를 꺼리는 선택지라는 문제점이 있다.

[18] 백욱인, 『인공지능 시대 인간의 조건』, 휴머니스트, 2023, 433.

[19] Bruce Schneier, “How AI will change democracy,” 2024.5.28., https://cyberscoop.com/how-ai-will-change-democracy

[20] 전적으로 AI에 의해 작성된 법률을 제정한 최초의 도시는 2023년 브라질의 포르투 알레그레이다. 의원 중 한 명이 ChatGPT를 사용해 수도계량기와 관련되 완전한 법안을 만들어 입법부에 제출했고 수정없이 통과되었다. Bruce Schneier, “How AI will change democracy,” 2024.5.28., https://cyberscoop.com/how-ai-will-change-democracy

[21] García-Marzá, Domingo, and Patrici Calvo. Algorithmic democracy: A critical perspective based on deliberative democracy. Springer Nature, 2024, 41.

[22] John Danaher, "The Threat of Algocracy: Reality, Resistance and Accommodation," Philosophy &Technology, 29(3), 2016, 245-268; 김중권, 「인공지능시대 알고크라시(Algocracy)에서의 민주적 정당화의 문제」, 『법조』, 69(5), 181-207. 

[23] 심우민, 「AI 사회 원칙과 기술인권: 인권 입법의 전환 방향」, 『문화/과학』, 2021, 105호, 171; 「인공지능의 발전과 알고리즘의 규제적 속성」, 『법과 사회』, 53호, 2016.

[24] 쇼사나 주보프, 『감시자본주의』, 2021, 김보영 옮김, 문학사상사; 대런 아세모글루, 사이먼 존스, 『권력과 진보: 기술과 번영을 둘러싼 천년의 쟁투』, 2023, 김승진 옮김, 생각의힘 참조

[25] 투명성, 즉 설명가능성이 중요한 이유는 그것이 AI를 독립적인 (법적 지위와 무관하게) 정치행위자로 간주할지의 여부의 기준이 되기 때문이다. 즉 설명할 수 있어야만 AI는 인간행위자의 통제 하에 놓인다고 볼 수 있다.

[26] 김세진, 「AGI시대 3년내 윤관... 생성AI로 인간 능력 후퇴 우려(이장선 인터뷰) 」, 더밀크, 2024.4.20. , https://www.themiilk.com/articles/a7c2ba50b

[27] 이광석, 「404 시스템 에러: 생성형 AI가 인도하는 '멋진 신세계'」, 『문화/과학』, 2023, 114호, 33.

[28] Mark Coeckelbergh, "Democracy, epistemic agency, and AI: political epistemology in times of artificial intelligence," AI Ethics 3, 1341–1350, 2023, https://doi.org/10.1007/s43681-022-00239-4

[29] 김상민, 「환각 생성과 창의성 추출의 자동화된 기계: 생성형 AI 뒤집어 보기」, 2023, 114호, 54-56.

[30] 인공 기술이 자연 생태를 이루는 주축이 되어 일상 의사 소솥 기제이자 감각 논리로 등극된 상황을 의미한다. 이광석, 「생태정치학, 기술 독성을 재사유하는 법」, 『문화/과학』2022, 111호, 233; 안드레예비치는 아예 사회적인 모든 것이 자동화된다고 보았다. 알고리즘 기술이 사회에서 정상화, 일상화, 배경화하고 '환경성(environmentality)'을 형성함으로써 "욕망이 발현되기도 전에 미리 욕망을 충족시킬 수 있는 능력"을 가졌다는 것이다. 그리고 자동화 알고리즘은 서사적 해설과 설명조차 자동화된 응답으로 바꿈으로써 주체화 과정 없이도 주체를 만드는 행위의 환경이 되었다고 주장한다. 마크 안드레예비치, 『미디어 알고리즘의 욕망』, 이희은 옮김, 컬처룩, 2011.

[31] 이 개념을 해프는 인류세의 지질학적 힘으로서 정교화했다. Peter Haff, “Technology as a geological phenomenon: Implications for human well-being,” Geological Society of London Special Publications, 2013, 301-309; 김병권,「인공지능, 기술권, 그리고 디지털 충분성」,『문화/과학』, 2024 참조; 밀섬은 기술권에 "자동화되고 컴퓨터로 제어되는 대규모 통합 산업 공정"을 포함시킨다. John Milsum, “The technosphere, the biosphere, the sociosphere: Their systems modeling and optimiziation.” IEEE Spectrum 5/6, 1968, 76-82.

[32] 테라노바는 이러한 AI 기술환경성이 도시를 제어하는 통치기술이 될 때 이를 '테크노소셜미디어(technosocial medium)'로 정의한다. 테라노바는 현실 사회관계(사회적인 것)가 디지털 지능정보화 기술에 의해 관리되고 조정되며 환경화되어 변형된 기술 현실을 갖게 된다고 보았다. "사회적인 것이 직접적으로 (디지털) 코드화되고 디지털 커뮤니케이션 기술에 의해 재귀적으로 재구성∙변경"된다. "시장기술 상품이 사회화된 통제기술로 둔갑하는 '기술사회'의 전면화가 이뤄지고 있"는 것이다. 이광석, 「생태정치학, 기술 독성을 재사유하는 법」, 『문화/과학』2022, 111호, 245.

[33] 유승익, 2023, 「인공지능이 인권과 민주주의에 미치는 영향과 인공지능법안의 쟁점」, 『민주법학』, Vol. 82, 89.

[34] 이광석, 「인공지능(AI)과 민주주의」, 『KDF 민주주의 리포트』, 83호, 2023.

[35] 제프리 알렉산더, 『사회적 삶의 의미』, 박선웅 옮김, 한울아카데미, 2007.

[36] 와이어드(Wired) 편집장 앤더슨(Chris Anderson)의 책(The End of Theory)에서 르브루아의 재인용. Antoinette Rouvroy, Thomas Berns, and Liz Carey-Libbrecht. "Algorithmic governmentality and prospects of emancipation," Réseaux 177.1., 2013, VII(각주 8).

[37] 에릭 사댕은 이를 '테크네 로고스'라고 부른다. 에릭 사댕, 「인공지능 혹은 세기의 쟁점 서문」, 『문화/과학』, 심소미∙줄리앙 코와네 옮김, 2023, 114호, 323.

[38] 유승익, 2023, 「인공지능이 인권과 민주주의에 미치는 영향과 인공지능법안의 쟁점」, 『민주법학』, Vol. 82, 89.

[39] 시민단체들은 "자율규제만으로 AI의 역기능을 방지하고 이용자를 보호할 수 없"으며 "기업자율적인 윤리가 인권과 법률 준수 의무를 회피하는 이유가 되어서는 안된다"고 주장한다. 송창한, "알고리즘 뒤에 숨는 기업을 너무 많이 봐왔다: 120개 시민단체 공동선언, 정부 AI '자율규제 원칙 비판...역시능 방지 위한 국가 관리∙감독체계 마련 촉구", 『미디어스』, 2021.5.26., https://www.mediaus.co.kr/news/articleView.html?idxno=214643

[40] Andrea Simoncini & Erik Longo, “Fundamental Rights and the Rule of Law in the Algorithmic Society,” Constitutional Changes In The Algorithmic Society, Cambridge University Press, 2022, 40.

[41] Antoinette Rouvroy & Bernard Stiegler, "The digital regime of truth: From the algorithmic governmentality to a new rule of law," La Deleuziana 3, 2016, 6-29.

[42] 심우민, 「AI 사회 원칙과 기술인권: 인권 입법의 전환 방향」, 『문화/과학』, 2021, 105호, 163.

[43] 잘 가치정렬된 목적함수일지라도 AI가 창발적 지능에 의해 창의적으로 해석할 가능성이 존재한다. 또 트롤리 딜레마도 목적함수만으로 해소하기 어려운 난제다. 러셀은 이를 '구멍 원리(loohole principle)'라고 표현했다. "충분히 지적인 기계가 어떤 조건을 일으킬 동기를 지닌다면, 인간이 그 행동에 그저 금지 조항을 붙이는 것만으로는" 막기가 불가능하다는 것이다. 스튜어트 러셀, 『어떻게 인간과 공존하는 인공지능을 만들 것인가』 , 이한음 옮김, 김영사, 2021, ebook.

[44] 마크 코켈버그, 『인공지능은 왜 정치적일 수밖에 없는가』, 배현석 옮김, 생각이음, 148.

[45] 여기서 '식민화'는 개인정보와 데이터를 천연자원처럼 전유하면서도 이를 민주주의적 가치로 포장하는 이데올로기를 통해 정치(경제)적 이윤을 획득하는 기술기업을 비판하는 메히아스와 콜드리의 '데이터 식민주의'와, 이들이 인용한 하버마스의 '체계에 의한 생활세계의 식민화' 논제 등을 참조해 정치적 커먼즈를 천연자원처럼 전유하고 인간의 민주적 능력을 기술시스템에 종속시키는 이데올로기적 또는 물신적 기획을 의미한다. Ulises Mejias and Nick Couldry. Data grab: The new colonialism of big tech and how to fight back, University of Chicago Press, 2024. "정보처리에 의한 일상생활의 식민화"는 다음을 참조하라. Adam Greenfield, Radical technologies: The design of everyday life, Verso Books, 2017.

[46] 정치인(전 유럽의회 의원)이자 연구자인 스하커는 혁신이라는 이름으로 안면인식, 스파이웨어, 암호화폐 인공지능을 통해 규제에 저항하면서 정부를 장악해 가고 시민으로부터 권력을 빼앗는 기술기업들의 실제 전략을 잘 보여준다. Marietje Schaake, The Tech Coup: How to Save Democracy from Silicon Valley, Princeton University Press, 2024.

[47] 콜린 크라우치는 포스트민주주의를 민주주의의 형식적 요소는 그대로 남아 있거나 심지어 강화되면서 정치와 정부가 점점 더 특권적인 기업 대자본 엘리트의 통제권 안으로 들어가 민주적인 공공적 삶이 훼손되는 민주주의 위기 상황으로 정의했다. 또 신자유주의가 ‘탈진실’에 힘입어 소셜 미디어의 정보기술과 공공관리의 효율성의 형태로 시민사회의 무기력을 발생시켰다고 말한다. 포스트민주주의 하에서는 민주주의의 형식적 요소들이 살아남음에도 불구하고 기업 이익의 세계화와 민중 이익의 파편화로 회귀할 수 있다고 우려한다. 콜린 크라우치, 『포스트민주주의: 민주주의 시대의 종말』, 이한 옮김, 미지북스, 2008; Colin Crouch, Post-democracy after the crises. John Wiley & Sons, 2020.

[48] 황종성, 2017, 「인공지능시대의 정부: 인공지능이 어떻게 정부를 변화시킬 것인가」, 『IT & Future Strategy』, 3호, 한국정보화진흥원, 2017, 11.

[49] Christopher Summerfield, et al., "How will advanced AI systems impact democracy?," 2024, arXiv preprint arXiv:2409.06729,11.

[50] 황종성, 「인공지능시대의 정부: 인공지능이 어떻게 정부를 변화시킬 것인가」, 『IT & Future Strategy』, 3호, 한국정보화진흥원, 2017, 14.

[51]2024년 AI 디지털 전환 컨퍼런스, 경북테크노파크, 2024.9.27., https://www.youtube.com/watch?v=kzLSgXK6hS4

[52] 하정우(대통령 직속 디지털 플랫폼 정부 위원회의 AI 데이터 센터장) 인터뷰, CBS 특집 박영선의 칩 인사이드 EP. 3, https://youtu.be/ggbtGDhkvYI?si=5Y7vKGmtxZBBAIrY

[53] Justin Bullock, "Artificial intelligence, discretion, and bureaucracy.," The American Review of Public Administration 49.7, 2019, 751-761.

[54] 마티아스 리스, 같은 책, 64.

[55] 김상배 외, 같은 책, 333.

[56] 앤드류 핀버그,  같은 책.

[57] 케이트 크로포드, 『AI 아틀라스』, 노승영 옮김, 소소의책, ebook.

[58] Accountable Tech 외, “Beyond Big Tech: A manifesto for a new digital economy,” 2024, http://peoplevsbig.tech

[59] AI 기술의 민주주의적 구상에 대해서는 다음을 참조하라. 이광석, 「404 시스템 에러: 생성형 AI가 인도하는 '멋진 신세계'」, 『문화/과학』, 2023, 114호, 34-38.

[60] 손화철, 2018, 「인공지능 시대의 과학기술 거버넌스」, 『인공지능과 새로운 규범』, 아카넷, 247-48.

[61] 각각 전자는 슈테펜 랑게(Steffen Lange), 후자는 프랑스 기후∙생태운동의 개념이다. 김병권, 「인공지능, 기술권, 그리고 디지털 충분성」,『문화/과학』, 2024, 64 참조

[62] 개빈 뮬러, 『하이테크 러다이즘: 디지털 시대의 기계 혐오』, 하홍규 옮김, 한울아카데미, 2023, 180. 러다이즘의 감속주의 정치를 긍정하는 주장은 이 책을 전체를 참조하라.

[63] 대런 아세모글루, 사이먼 존스, 같은 책.

[64] 손현주,「인공지능 거버넌스와 민주주의 미래」, 『사회사상과 문화』, 22권, 2호, 2019

[65] 심우민, 「AI 사회 원칙과 기술인권: 인권 입법의 전환 방향」, 『문화/과학』, 2021, 105호, 178; 이준일, 「인공지능과 기본권」『월간 복지동향』, 304, 2024, 33-39; 자사노프는 시민의 관점이 기술설계에 반드시 들어가는 ‘구성적 기술영향평가’의 한계를 비판적으로 논평한다. 이는 기술 발전과 미래 약속, 위험에 대한 시민들의 바람과 인식을 정책결정자들에게 적극적으로 표현하는 합의체를 만드는 것이지만, 소규모의 개별 정치 행위자들을 배제하므로써 대중참여의 가능성을 사실상 제거하는 기술정책의 정치라는 것이다. 자사노프,『테크놀로지의 정치』, 김명진 옮김, 창비, 2022, 219-221, 280.

[66]  대런 아세모글루, 사이먼 존스, 같은 책.

[67] 한스 요아스,『책임의 원칙: 기술시대의 생태학적 원리』, 이진우 옮김, 서광사, 1984; Bruno Latour, Aramis, or the Love of Technology. Harvard University Press, 1996.