기술동향No.09, 2023/05

“게임 할래요?”, 달콤한 성취 뒤에 숨은 위험한 유혹 정동훈 교수
donghunc@gmail.com / 광운대학교 미디어커뮤니케이션학부

‘워 게임(War Games)’과 인공지능

  1983년에 개봉된 영화 ‘워 게임’(War Games, 국내 제목은 ‘위험한 게임’)은 40년 전에 개봉된 영화임에도 불구하고, 오늘날 테크놀로지 환경을 잘 보여주는 매력적인 영화다. 인공지능의 잘못된 활용이 초래할 수 있는 위험성에 대한 경고의 메시지를 담은 이 영화는 매우 사소한 원인으로 인공지능이 인류의 멸망을 이끌 수 있다는 교훈을 제공한다. 인공지능이 제대로 구현되지도 않았던 당시 상황에서 이러한 인공지능의 역할을 당시의 영화 관람자들은 얼마나 공감하고 보았을지는 모르겠지만, 상업적으로나 예술적으로나 큰 호응을 받았다.

  2018년 논문(Lee, et. al., 2018)에서 처음 소개된 “환각(hallucination)”이란 용어는 GPT (Generative Pre-Trained Transformer)와 같은 생성형 인공지능(Generative AI, 이하 “Gen-AI”)이 만들어내는 잘못된 정보나 거짓 정보를 의미하는데, 이 영화는 1980년대 초반에 만들어졌음에도 불구하고, 인공지능이 만들어낸 거짓 결과물을 이미 “환각”으로 표현하고 있을 정도로 Gen-AI가 일으킬 문제에 대한 상상력이 뛰어나다.

  이 영화는 인공지능 컴퓨터 시스템 워프(WOPR; War Operation Plan Response)가 스스로 결정하여 핵전쟁을 일으킨다는 이야기를 통해 인공지능 사용이 초래하는 문제를 인류 멸망이라는 시나리오로 보여준다. 영화의 간단한 내용은 이렇다. 주인공은 게임을 하기 위해 해킹으로 인터넷에 접속하다가 우연히 워프 시스템에 접근한다. 그리고 워프의 “게임 할래요(Shall we play a game?)” 라는 제안으로 게임을 시작하는데, 그 게임이 바로 핵전쟁이었다. 주인공에게는 인간이라면 아무렇지도 않게 플레이하는 전쟁 게임으로 받아들였지만 인공지능은 이것을 진짜처럼 인식하고 실행 직전까지 다다른다. 실제로는 전쟁이 아닌 시뮬레이션이었지만, 군인들은 그것이 현실인 줄 알고 대응하고, 이 과정에서 인공지능이 인간의 판단력을 대체한다. 인공지능 때문에 인간은 아무것도 할 수 없이 그저 바라만 보는 상황에서 핵전쟁의 위험에 직면하는 순간, 주인공은 게임을 통해 간신히(그리고 우연히!) 인공지능 스스로 명령을 거두게 한다.

  인공지능의 결정력이 과도하게 증가하게 될 경우, 인간이 그 결과에 대한 책임을 떠맡을 수 없게 될 수도 있음을 보여준 이 영화는 최근 GPT 로 대표되는 Gen-AI의 위험성을 생각하는 데 더할 나위 없이 좋다. 2016년 이세돌과 알파고의 대국은 일반인의 인공지능에 관한 관심을 불러일으켰다면, 2022년 ChatGPT는 인공지능이 우리의 일상으로 본격적으로 들어온 계기가 됐다. 사회 전 분야에 실질적인 영향을 미친 만큼, 그동안 이상적인 조건에서 가정문으로 제기됐던 인공지능의 활용으로 인한 문제는 이제 현실이 됐다. 전 세계 정부와 국제기구, 기업, 비영리단체 등 수없이 많은 조직에서 발표했던 인공지능 관련 가이드라인은 이제 실전에 맞닥뜨리게 된 것이다.

“이름도 몰라요, 성도 몰라”보다 위험한 “원인도 몰라요, 방법도 몰라”

  인공지능과 관련한 가장 큰 문제는 원인과 방법의 무지이다. GPT를 통해 알게 됐지만, 도대체 이 결과가 왜 나왔는지, 어떤 방법으로 나왔는지 알지 못한다. 이유를 모르니 두렵다. 사랑하는 연인이 갑자기 뾰로통해 있는데, 정작 나는 그 이유를 모른다. 미치고 환장할 노릇이다. 저 친구가 언제 어떻게 터질지 모르니 두렵다. 우리와 경쟁 관계에 있는 기업에서 신제품을 출시했는데, 소비자들이 맛있다고 난리다. 어떻게든 똑같은 맛을 내는 제품을 만들어 출시해야 하는데, 도무지 맛이 안 나온다. 똑같기는 커녕 이상한 맛만 나온다. 같은 재료를 썼는데, 왜 같은 맛이 안 나오는지…. 방법이 무엇인지 모르니 답답하다.

  인간은 불확실성을 싫어한다. 처음 만난 사람은 늘 불안하다. '이 사람이 나를 해롭게 하는 것은 아닐까?' 그래서 우리는 묻는다. 나이는 몇 살인지. 나이를 통해 위아래 관계를 설정하려 한다. 나이 드신 분은 고향을 묻고, 청년은 학교를 묻는다. 어떻게든 공통점, 유사점을 만들려고 한다. 불확실성을 감소함으로써 마음을 편하게 하려는 의도다. 새로운 사람이나 상황에 부닥쳤을 때 불확실성을 느끼는 것은 인간의 본질적인 속성이다. 이러한 불확실성은 불안과 두려움을 유발하기 때문에, 인간은 정보를 수집함으로써, 예측 가능한 구조를 찾아 불확실성을 줄이려고 한다. 사회심리학에서는 이것을 불확실성 감소 이론(Uncertainty Reduction Theory)이라고 한다.

  테크 기반 기업들은 그동안 인공지능을 활용한 서비스를 소개할 때 매우 조심스러웠다. 바로 예측 불가능성 때문이다. 서비스를 출시했는데 만일 예측 못 한 사건이 발생한다면? 대표적 사례가 2020년 12월에 출시된 챗봇 ‘이 루다’사건이다. 결국 출시 3주 만에 서비스가 중단되며 일단락되었지만, 기업이 입은 피해는 작지 않았다. ‘이루다’를 만든 기업 스캐터 랩이 주식 시장에 상장이 안 되어있었길래 망정이지, 만일 상장된 기업이었다면 당일 하한 가는 기본이었을 만큼 당시 이루다 사건은 기업 차원에서 큰 악재였다.

  주식 시장이 가장 불안해하는 것은 기업의 매출 감소도, 이익 감소도 아니다. 바로 불확실성 이다. 미중 패권전쟁이 어떻게 진행될지, 중국의 대만 침공이 현실화할지, 금리는 어떻게 될지…. 이러한 불확실성은 인간의 판단을 어렵게 하고, 실수하게 만든다. 개인 차원에서의 문제야 그 영향력이 제한적이지만, 집합적 단계로 가면 복잡해진다. 스캐터랩 같은 작은 기업이야 논란으로 끝나면 그만이지만, 그 사건의 당사자가 삼성전자나 네이버이고, 마이크로소프트나 애플이라면 이야기는 달라진다. 이러한 거대 기업의 위기는 경제의 위기이고, 경제의 위기는 국가의 위기다. 그 국가가 미국이나 중국과 같은 경제 대국일 경우는 세계적 혼란이 된다.

  Gen-AI는 인간에게 바로 불확실성을 증가시켰다. 불확실성을 감소해도 불안함을 느끼는게 인간인데, 사용할수록 불확실성을 증가시킨다. 이제 막 시작했으니까 환각 결과에 대해 대수롭지 않게 넘길 수 있지만, 이게 정말 별것 아닌 일일까? 그리고 단지 이것으로 끝날까?

인공지능이 만든 문제를 정말 고칠 수 있을까?

  나중에 밝혀진 내용이지만, 네이버는 ‘이루다’ 가 출시될 즈음 이미 비슷한 서비스를 준비하고 있었다. 다만 사회적 문제를 초래할 개연성이 있다는 내부의 문제 제기 때문에 출시를 미뤘다. 그러다가 ‘이루다’사태가 일어났다. 구글도 마찬가지다. 사실 Gen-AI가 시작된 배경은 구글이다. 구글은 이미 2018년에 언어 모델인 BERT(Bidirectional Encoder Representations from Transformers)를 개발했다. 앞서 소개했지만, GPT의 ‘T’가 바로 트랜스포머(Transformer)다. 즉 GPT는 구글이 개발한 트랜스포머 아키텍처를 사용해서 개발된 것이다. 구글이 먼저 개발을 했음에도 불구하고 출시를 미룬 이유는 역시 안전성과 공공성에 대한 위험 때문이었다.

  그러나 이러한 우려는 더는 중요하지 않을 것같다. 마이크로소프트의 기술 임원인 샘 쉴레이스(Sam Schillace)는 ChatGPT-4가 출시된 2023년 3월 내부 이메일에서 테크 시장에서는 ‘먼저 시작(started first)’하는 것이 ‘장기적인 승자(long-term winner)’가 되는 원동력이라고 썼다. 이 말은 마이크로소프트가 ChatGPT 를 자사의 검색엔진인 Bing에 탑재하고, 마이크로소프트 365에 코파일럿(Copilot)’을 내장 하여 마이크로소프트 365 코파일럿을 출시함으로써 인공지능 시장을 ‘먼저 시작’하겠다는 의미이다. 앞에서 얘기한 불확실성은 이제 접어두겠다는 또 다른 표현이다. 이 때문일까? 우리가 알만한 기업은 ChatGPT 소개 이후 자신들이 개발하고 있는 Gen-AI를 재빠르게 공개 하고 있다. 구글은 바드(Bard)를 출시했고, 네이버는 SearchGPT를, 메타는 LLAMA를 발표 했다. 너무나 많은 기업이 인공지능 서비스를 출시하고 있어서 일일이 소개하기 벅찰 지경이다. 기업은 Gen-AI 시장에 뒤처지지 않기 위해 전쟁 중이다.

  이러한 기업의 필사적(?)인 행보와 함께, 인공 지능 연구자들의 걱정 역시 빠르게 확산 중이다. 딥러닝 개발의 선구자로 널리 알려진 제프리 힌튼(Geoffrey Hinton) 박사는 2023년 5월 3일 뉴욕타임스와의 인터뷰(Metz, 2023)를 통해 그동안 인공지능 관련 일을 해온 것을 후회한다고 말하며, 인공지능의 위험성에 대해 자유롭게 말하기 위해 구글에서 나온다고 밝혔다. 힌튼 박사는 그동안 인공지능 개발에 있어 가장 존경받는 개발자이자 학자이자 연구자로 알려졌는데, "악의적 행위자가 인공지능을 나쁜 일에 사용하는 것을 어떻게 막을 수 있을지 알기 어렵다"라고 말하며 인공지능이 가져올 위험에 대해 경종을 울린 것이다. 대체 그는 얼마나 큰 두려움에 사로잡혔기에 전 세계인이 숭앙해 마지않는 딥러닝의 개척자라는 자리를 그토록 후회하며 자신의 정체성을 부정하기에까지 이른 것일까?

  그의 걱정은 인공지능 시스템이 만들어내는 것들이 인간의 뇌에서 만드는 것보다 더 뛰어날수 있다는 우려에서 출발한다. 이와 관련된 우려는 단지 힌튼 박사에만 그치는 것은 아니다. 2022년 6월 마이크로소프트의 윤리 학자와 직원들은 챗봇의 인공지능 기술이 페이스북 그룹에 허위 정보를 넘쳐나게 하고, 비판적 사고를 저하시키며, 현대 사회의 사실적 기반을 약화 시킬 수 있다고 경고했고, 2023년 3월 두 명의 구글 직원은 챗봇이 부정확하고 위험한 문장을 생성한다고 판단하여 인공지능 챗봇 출시를 막으려 했다(Grant,, & Weise, 2023). OpenAI 가 ChatGPT-4를 출시한 직후인 2023년 3월, 테슬라(Tesla)의 일론 머스크(Elon Musk)와 애플(Apple)의 공동 창업자 스티브 워즈니악 (Steve Wozniak)을 비롯한 천 명 이상의 기술 리더와 연구자들은 인공지능 기술이 “사회와 인류에 심각한 위험”을 초래할 수 있으므로 새로운 시스템 개발을 6개월간 유예할 것을 촉구하는 공개서한에 서명했다. 이 서한의 내용이 정말 타당한 것인지, 유예가 정답이냐는 논쟁은 차치하더라도, 인공지능 기술 전문가들이 이렇게까지 공개적으로 인공지능이 “사회와 인류에 심각한 위험”이 될 수 있다고 밝힌 것은 놀라운 일이 아닐 수 없다.

  기업은 챗봇이 허위 정보를 생산하고, 챗봇에 감정적으로 집착하는 사용자에게 상처를 줄 수 있으며, 온라인에서 기술을 통한 집단 폭력을 가할 수 있음을 잘 알고 있다. 대규모 인공지능 모델이 사이버 보안 공격에 취약하고, 개인정보 보호 위험을 초래할 수 있다는 점도 잘 알고 있다. 그런데도 마이크로소프트는 2022년 10월 제품 리더들의 윤리 교육을 담당하고 컨설팅하는 윤리 및 사회(Ethics and Society) 팀을 30명에서 7명으로 축소한데 이어, 2023년 3월에는 팀 자체를 완전히 해체했다. 이밖에도 구글, 메타, 아마존, 트위터 등의 기업이 인공지능을 사용하는 소비자 제품의 안전성에 대해 조언하는 인공지능 윤리팀(responsible AI teams)의 인원을 감축했다(Criddle, & Murgia, 2023). 이러한 상황에서도, Gen-AI 를 활용한 서비스를 하는 테크 기업은 여전히 윤리 가이드라인은 중요하고, 이를 지키기 위해 최선을 다한다고 주장한다.

  이제는 인공지능 시장을 선점하는 것이 기업과 국가의 최우선 과제가 됐다. 각종 우려와 경고에도 불구하고, 새로운 인공지능을 개발하려는 시도는 멈추지 않을 것이다. 앞에서 인공 지능 산업의 초기 선점이 중요하다고 말한 마이크로소프트의 기술 임원인 샘 쉴레이스의 말이 지금 그들의 속마음이 어떤지 잘 보여준다. “나중에 고칠 수 있는 문제를 지금 걱정하는 것은 치명적인 실수이다.”

보이지 않는 위험은 눈 앞에 펼쳐진 이익을 이길 수 없다

  기업은 주주의 이익을 최우선으로 생각한다. 주주의 이익을 극대화하기 위해서는 매출과 이익을 증가시켜 주가를 우상향하도록 만들어야 한다. 매출과 이익을 증가시키기 위한 최고의 방법은 생산성과 효율성이다. 생산성과 효율성이라는 가치 충족을 위해, 산업혁명은 1차와 2차를 거쳐, 이제 3차를 정리하고 4차로 향한다. 그리고 4차 산업혁명의 핵심기술은 인공 지능이다.

  인공지능 기술은 다양한 업무 영역에서 활용 되어 큰 변화를 가져오고 있다. 고객 문의에 대한 신속 정확한 응답을 제공함으로써 고객 만족도를 높임과 동시에 인건비를 절감하는 AI 챗봇은 이미 우리가 체감할 수 있다. 제조 업계 에서는 AI 기반의 예측 유지보수 시스템이 도입되어 기계나 장비의 고장을 예측하고, 불필 요한 정비 비용을 줄이는 동시에 생산성을 향상하고, 로봇과 스마트 팩토리를 도입함으로써 인력을 절약하고, 사고율을 줄여 생산성과 효율성을 높인다. 실제 BMW와 테슬라와 같은 자동차 제조사들은 인공지능을 통한 작업 공정의 자동화 및 최적화를 통해 고품질의 차를 생산한다. 빅데이터 분석을 통해 기업의 영업및 마케팅 전략에 활력을 불어넣고, 시장 트렌드를 실시간적으로 파악해 효과적인 의사결정을 뒷받침함으로써 기업 경영에 혁신을 가져 온다. 또한, 효율적인 데이터 관리 및 분석 기능을 활용해 소비자들의 구매 패턴이나 선호를 파악할 수 있어 정밀한 타겟 마케팅을 가능케 하고, 정확한 수치를 바탕으로 소비자에게 더 나은 제품을 저렴한 가격에 공급해 경쟁력을 높인다. 인공지능 기술은 결국 기업의 전략적 경쟁력을 강화하고, 장기적인 성장을 지원한다. 절감된 비용은 다시 인공지능 R&D에 투입되고, 핵심 사업에 집중함으로써 매출과 이익을 증가시킨다.

  각국 정부와 글로벌 빅테크 기업들은 멈출 수없는 경쟁에 갇혀 있다. 거짓 텍스트에 사진에 영상이 넘쳐나는 인터넷, 인간의 자리를 대체 하는 로봇 그리고 빅데이터에서 인간이 알지 못한 무엇인가를 학습함으로써 발생하는 위험을 대체 우리는 어떻게 막을 수 있을 것인가? 인공지능이 모든 인간의 지성을 합친 것보다 더 뛰어난 초인공지능이 출현하는 것을 기술적 특이점, 싱귤라리티(Singhularity)라고 한다. 그 동안 싱귤라리티는 빨라야 2040년경에나 올 것으로 예측됐다. 그러나 이제 한 치 앞을 바라볼 수 없는 세상이 됐다. 그것이 2030년, 아니 2025년에 발생한다 해도 이제 더는 놀랄 일이 아니다. 중요한 것은 이러한 인류에 대한 위협을 전문가 그룹부터 인식한다고 해도 기술 개발을 막을 수 있는 현실적인 장치는 존재하지 않는다는 것이다. 인공지능에 대한 정부 규제는 국가 간 경쟁으로 그리고 시장 경제 논리로 뒤편으로 밀려날 것이다. 그저 들리는 것은 기업의 자율 규제, 인공지능 윤리와 같이 있어도 그만, 없어도 그만인 허울뿐인 메아리뿐.

  전 세계 모든 국가가, 전 세계 모든 기업에 동시에 차별 없이 일관된 규제를 할 수 있을 때만이 인공지능의 위험을 막을 수 있을 뿐 이제 남아있는 해결책은 없다. OpenAI가 GPT-4를 개발하기 위해 몇 개의 데이터셋을 이용했는지, 몇 개의 파라미터를 이용했는지, 알고리즘은 무엇인지 정부도 알 수 없다. 핵무기의 개발은 국제 조약으로 막을 수 있지만, 기업이 인공지능을 활용한 결과물은 그 무엇도 막을 수 없다.

  보이지 않는 위험은 눈 앞에 펼쳐진 이익을 이길 수 없다. 그만큼 달콤하기 때문이다. 취침 전 밤 11시에 먹는 치킨이 건강에 얼마나 나쁜지 잘 알지만, 입안에 퍼지는 기름기 넘치는 고기의 맛을 극복하기에는 우리의 뇌는 그리 합리적이지 않다. 이런 시기에 인공지능 윤리를 외치고, 가이드라인에 따를 것을 요구하는 것이 어떤 의미가 있을까? 새로운 강제조치, 즉 규제를 적극적으로 작동해야 할 때이다. 그리고 이러한 요구는 전문가 집단의 자성과 시민의 지지로부터 시작되어야 한다.

참고문헌 Criddle, C., & Murgia, M. (2023, March 29). Big tech companies cut AI ethics staff, raising safety concerns.
    Financial Times. https://www.ft.com/content/26372287-6fb3-457b-9e9c-f722027f36b3 Grant, N., & Weise, K. (2023, April 11). In A.I. Race, Microsoft and Google Choose Speed Over Caution.
    The New York Times. https://www.nytimes.com/2023/04/07/technology/ai-chatbots-google-microsoft.html
Lee, K., Firat, O., Agarwal, A., Fannjiang, C., & Sussillo, D. (2018. May 6 - May 9).
    Hallucinations in neural machine translation. Paper presented at the ICLR 2019 Conference. New Orleans, Louisiana, United States
Metz, C. (2023, May 3). The Godfather of A.I. Leaves Google and Warns of Danger Ahead. The New York Times.
https://www.nytimes.com/2023/05/01/technology/ai-google-chatbot-engineer-quits-hinton.html
TOP