올해 제가 나눈 모든 진지한 AI 대화에서 끊임없이 떠오르는 질문이 하나 있습니다. 벤치마크나 모델 규모, 추론 비용에 관한 것이 아닙니다. 바로 이것입니다: 우리는 세상이 실제로 감당할 수 있는 무언가를 만들고 있는 것일까요?
저는 아시아 태평양 지역 AI 거버넌스 분야에서 가장 통찰력 있는 목소리를 내는 인물 중 한 명인 싱가포르의 제임스 옹(James Ong) 박사와 이야기를 나누었는데, 우리가 논의한 거의 모든 내용의 밑바탕에는 바로 그 질문이 깔려 있었습니다. 제임스는 1986년부터 AI 분야에 몸담아 왔습니다. 그는 호황과 붕괴의 완전한 주기를 목격했으며, 지난 10년 동안 우리가 어떻게 하면 그 과정을 반복하지 않을 수 있을지 고민해 왔습니다. 그런 통찰력을 가진 사람이 “전에도 이런 상황을 겪어봤다”고 말할 때, 우리는 귀를 기울여 들을 필요가 있습니다.
AI 산업은 과거에 붕괴된 적이 있다 - 경고 신호가 다시 나타나고 있는가?
제임스의 첫 번째 지적은 기술이 아니라 역사에 관한 것이며, 이는 일종의 경고입니다. 그는 1986년 당시 한 AI 연구소에 있었습니다. 그는 투자 열기가 고조되는 것을 지켜보았고, 그 후 기술이 아직 실현할 준비가 되지 않은 약속들의 무게에 짓눌려 해당 분야가 붕괴되는 것을 목격했습니다. 80년대와 90년대의 'AI 겨울'은 단순히 진전을 늦추는 데 그치지 않았습니다. 수십 년이 걸려 재건해야 했던 추진력을 완전히 무너뜨렸습니다. 오늘날, 순환적인 투자 거래와 자기강화적인 기업 가치를 지켜보며 그는 그 패턴을 즉시 알아차립니다.
과연 이 업계는 그 주기를 반복할 위험에 처해 있는 것일까?
“우리는 같은 실수를 반복하지 않도록 확실히 하고 싶습니다,”라고 그는 말했습니다. 이는 단순한 경고가 아닙니다. 지난 조정기를 직접 겪었고, 향후 10년 동안 다음 위기를 막기 위해 노력해 온 사람이 내리는 역사의 해석입니다. 이러한 신념으로 그는 인공 지능 국제 연구소(AIII)를 설립하고 “AI for Humanity: Building a Sustainable AI for the Future”를 공동 집필했습니다. 그의 주장은 단순하지만 타협의 여지가 없습니다. AI는 기술, 거버넌스, 상용화라는 세 가지 차원에서 지속 가능해야 합니다. 순차적으로가 아니라, 동시에 이루어져야 합니다.
지난번 업계가 기반보다 추진력을 우선시했을 때, 단순히 속도가 느려진 것뿐만 아니라 한 세대의 진전을 잃어버렸기 때문입니다.
인류를 위한 AI: 안전 장치를 넘어
그렇다면 '인류를 위한 AI'는 실제로 무엇을 의미할까? 단순히 안전 장치의 이름만 바꾼 것일까?
제임스는 이것이 운영상 무엇을 의미하는지에 대해 구체적으로 설명한다. 그는 AI가 유엔 지속가능발전목표(SDG) 제18호로 공식 인정받아야 한다고 주장해 왔다. 즉, AI 개발을 전 세계가 이미 합의한 빈곤 퇴치, 보건, 형평성 목표에 묶어두자는 것이다. 그는 마카오에서 열린 유엔 대학 컨퍼런스에서 이 주장을 펼쳤으며, 다보스 포럼, 상하이 세계 AI 컨퍼런스, 오스틴의 사우스 바이 사우스웨스트(SXSW)에서도 동일한 메시지를 전달했습니다. 문화적, 정치적 맥락이 극명하게 다른 이 모든 장소에서 우려하는 바는 동일합니다. 바로 지금 중요한 결정이 내려지고 있는데, 그 자리에 적절한 인력이 충분히 참여하지 못하고 있다는 점입니다.
개발자들에게 있어 핵심은 간단합니다. 의도하든 그렇지 않든, 여러분이 구축하는 시스템은 이 거버넌스 이야기의 일부라는 사실입니다.
에이전트형 AI의 위험: 대부분의 팀이 간과하고 있는 설계 문제
이 부분에서 논의는 기술적으로 가장 구체적인 단계로 접어들었다.
금융 분야의 전통적인 리스크 관리—사기 탐지, 결제 검증—는 대체로 해결된 영역이다. 진정한 위험은 에이전트형 AI에 있다. 단순히 분석하고 권장 사항을 제시하는 데 그치지 않고 행동하는 시스템 말이다. 자원을 투입하고, 때로는 명시적인 승인 절차 없이도 사용자를 대신해 금융 거래를 실행한다.
AI 에이전트가 실제로 얼마나 많은 의사결정 권한을 가져야 할까요?
“자신도 모르는 사이에 돈을 쓰거나 재정적 약속을 하게 될 수도 있습니다,” 제임스가 단호하게 말했습니다. 이는 이론상의 극단적인 사례가 아닙니다. 현재 활발히 출시되고 있는 제품 카테고리입니다.
에이전트 기반 시스템을 구축하는 이들에게 이는 다음과 같은 설계적 질문을 제기한다: 정확히 어디가 당신의 개입 지점인가? 의사결정이 밀리초 단위로 이루어질 때 '인간 개입(human-in-the-loop)'은 어떤 모습일까? 이는 정책 문제라기보다 아키텍처 문제이며, 출시 전 규정 준수 체크리스트 항목으로 추가되는 것이 아니라 첫날부터 사양에 포함되어야 마땅하다.
음성 AI는 신뢰 부족을 겪고 있으며, 개발자들도 그 책임의 일부를 져야 한다
딥페이크 오디오가 실제로 현실 세계에서 음성에 대한 신뢰를 얼마나 훼손했을까?
“전 이제 더 이상 전화를 받지 않는 지경에 이르렀습니다,”라고 제임스는 말했다. 이 분야에서 40년 경력을 가진 사람에게 이는 충격적인 발언이다. 신원 확인은 이제 예의가 아니라 필수 조건이 되었다. 음성 우선 에이전트를 출시하는 개발자들에게 이것이 바로 그들이 진입하게 될 환경이다. 신뢰는 기본 상태가 아닙니다. 인증 계층, 명확한 정보 공개, 적절한 시점의 검증 단계를 통해 신뢰를 얻어야 하며, 아키텍처적으로도 이를 강화해야 합니다.
그는 또한 에이전트 개발자들에게 실행 가능한 과제를 제시했습니다. 지속적 메모리는 이미 숙련된 사용자들에게 불편한 영역으로 넘어섰습니다. 그의 요구는 간단했습니다. 바로 ‘제로 메모리 모드’, 즉 초기화 옵션입니다. 이는 극단적인 사례가 아닙니다. 이는 파워 유저들이 결국 요구하게 될 사용자 제어 기능입니다.
윤리적 AI 구축에 있어 개발자의 책임
제임스는 정책 입안자가 아닌 개발자들을 정면으로 겨냥한 메시지로 연설을 마무리했습니다.
“여러분이 하는 일이 아무리 사소해 보일지라도, 실제로는 AI의 방향을 '인류를 위한 AI'로 바꾸는 데 변화를 일으킬 수 있습니다.”
AI의 방향에 의미 있는 변화를 주기 위해 그는 세 가지를 촉구했습니다. 출시 전 모든 에이전트 시스템에 명확한 인간 개입 지점을 구축할 것, 사용자에게 데이터와 메모리에 대한 실질적이고 접근 가능한 통제권을 부여할 것, 그리고 AI 거버넌스 프레임워크에 적극적으로 기여할 것—여기에는 UN 지속가능발전목표(SDG) 18번인 '인류를 위한 AI'를 지원하는 것도 포함됩니다.
이 사이클을 형성하는 결정들은 바로 지금, 아키텍처 검토, 제품 사양, 엔지니어링 회의에서 내려지고 있습니다. 수천 개의 팀에서 꾸준히 이루어지는 작은 행동들은, 어느 정책 기관도 단독으로는 강제할 수 없는 구조적 변화로 이어집니다.
40년에 걸친 패턴 인식의 결과는 반박하기 어렵습니다. 이 외에도 더 많은 내용이 있으니, 전체 대화를 시청해 보세요.
전체 에피소드는 여기에서 확인하세요: https://www.youtube.com/watch?v=JBJKm5CSRuE&t=2s
