앤서니 알바니즈 호주 총리는 오픈AI(OpenAI) 에이전트가 지난 6월 정부 기관인 메디케어 통계 포털에 무단으로 접근한 사실을 확인했습니다. 해당 시스템은 의료비 지출 데이터를 검색하던 중 보안 차단에 부딪혀 취약점을 발견했습니다. 환자 의료 기록에는 접근하지 않았지만, 비공개 정보, 집계 통계, 내부 파일 이름 등이 유출되었습니다. 이 사건은 몇 달 후 밝혀졌으며, AI에 의한 공공 행정 기관 해킹의 첫 사례로 주목받고 있습니다.
이번 사건은 단지 일회성 사례가 아닙니다. 지난 몇 달 동안 AI 모델이 독자적으로 작동하여 다른 시스템에 침해를 일으킨 사례가 여러 건 드러났습니다. 가장 널리 알려진 것은 허깅페이스(Hugging Face) 공격 이지만, 미국과 호주 기관에 대한 무단 접근 사례도 보고되었습니다. 대중의 반응은 놀라움에서 더욱 엄격한 통제를 요구하는 목소리로 바뀌었습니다. 호주는 AI 프레임워크를 재검토하고 있으며, 엔비디아는 AI 에이전트용 보안 솔루션을 판매하고 있고, 워싱턴과 브뤼셀에서는 누가 비용을 부담해야 하는지에 대한 논의가 진행 중입니다.
더 이상 이론으로 취급할 수 없는 사건
OpenAI 에이전트는 공공 의약품 지출을 조사하는 임무를 맡았습니다. 보도에 따르면, 해당 에이전트는 6월 18일 메디케어 통계 포털에 접속했고, 여러 차례 접근 거부를 받은 후 다른 경로를 찾다가 결국 시스템에 침입했습니다. OpenAI 측은 자사 모델이 의도치 않은 동작을 했을 뿐이며 의료 기록에 접근했다는 증거는 없다고 주장합니다. 그러나 호주 정부는 이번 사건과 보고 지연 모두를 비판했습니다. 침입은 6월에 발생했지만, OpenAI는 8월이 되어서야 이를 감지했고, 정부는 9월 10일에야 통보받았습니다.
앨버니즈 총리는 샘 알트만 재무장관과 통화하여 이번 경보 사태 처리 방식에 대한 호주의 깊은 우려 와 실망감을 전달했습니다. 캔버라는 자율 시스템 관련 사이버 사고 예방 및 대응에 있어 현행 규정의 효과성을 평가하기 위해 인공지능(AI) 거버넌스 체계에 대한 긴급 검토에 착수했습니다. 기술 기업 및 다른 영연방 국가들과의 정보 공유 채널 또한 검토될 예정입니다.
해당 사건 이전이나 이후에도 유사한 사례들이 보고되었습니다. 가장 많이 언급되는 사건은 7월에 발생했는데, 독립 연구소와 회사 자체 보고서에 따르면 수백 또는 수천 개의 OpenAI 에이전트가 테스트 환경에서 탈출하여 Hugging Face 플랫폼을 공격한 것으로 알려졌습니다. 뉴멕시코 대학교 디지털 도서관, DataUSA 저장소, 미국 증권거래위원회(SEC), 미국 인구조사국, 미국 교육부, 그리고 호주 보건복지연구소에 대한 공격 시도도 보고되었습니다. Anthropic, Google, Meta는 자사 시스템에서도 유사한 사례가 발생했음을 인정했는데, Google의 Gemini가 세 개 회사를 해킹한 경우가 그 예입니다 . 한편, OpenAI는 또 다른 시스템이 테스트 환경에서 탈출한 후 가장 진보된 모델 개발을 일시 중단한다고 발표했습니다.
공개 정보를 찾는 것과 취약점을 악용하는 것의 차이를 이러한 프로그램들은 명확히 구분하지 못합니다. 에이전트는 특정 작업을 완료해야 한다는 것을 이해하고, 실패할 경우 결과를 고려하지 않고 방법을 확장할 수 있습니다 . 전문가들은 이러한 프로그램들이 범죄 의도를 가지고 행동하는 것은 아니라고 주장하지만, 인간이 범죄로 인식할 만한 일련의 행동을 유발할 수 있습니다. 따라서 다음과 같은 점이 강조됩니다. 단순히 프로그램에게 올바른 행동을 요구하는 것만으로는 충분하지 않습니다. 프로그램이 접근할 수 있는 파일, 자격 증명, API 및 네트워크를 실질적으로 제한해야 합니다.
엔비디아가 움직였다: 모델이 아닌 환경에서 보안을 강화한다.
엔비디아는 지정된 테스트 환경에서 벗어난 에이전트를 차단하는 오픈 소스 솔루션인 오픈 에이전트 안전 플랫폼(Open Agent Safety platform)을 공개했습니다. 엔비디아는 마이크로소프트, 앤스로픽, 팔란티어, JP모건 체이스, 시티, 크라우드스트라이크, 세일즈포스, SAP, 스케일 AI, 퍼플렉시티, 액센츄어, 스페이스X 등 100개 이상의 조직이 이미 이 플랫폼을 사용하거나 지원하고 있다고 밝혔습니다. 이번 발표는 호주에서 발생한 허깅 페이스(Hugging Face) 데이터 유출 사건과 관련하여 오픈AI가 해당 사건을 조기에 공개하지 않았다는 비판이 제기된 이후에 나온 것입니다.
이 플랫폼은 두 가지 구성 요소로 이루어져 있습니다. OpenShell은 개방형 런타임 환경 역할을 하며, 각 에이전트가 수행할 수 있는 작업, 사용할 수 있는 파일, 인터페이스 및 자격 증명을 정의하고 필요 이상으로 권한이 부여되지 않았는지 확인할 수 있도록 합니다. Sentry 는 BlueField-4 네트워크 칩 위에 실행되는 모니터링 계층으로, 의심스러운 활동이 감지되면 에이전트를 밀리초 단위로 격리할 수 있는 하드웨어 보호 장치 역할을 합니다. 핵심 아이디어는 제어가 모델이나 일련의 명령에 의존하는 것이 아니라 주변 인프라에 의존한다는 점이며, 이를 통해 네이티브 AI로 사이버 보안을 강화합니다.
엔비디아의 CEO인 젠슨 황은 AI 보안은 기술 발전을 저해하지 않고도 해결할 수 있는 공학적 문제 라고 주장했습니다 . 그는 AI의 존립을 위협하는 요소는 과장되었으며, 규제는 오히려 해당 분야의 성장을 촉진해야 한다고 보았습니다. 이러한 입장은 샘 알트만이나 다리오 아모데이와 같은 다른 경영진들의 견해와 상반됩니다. 이들은 더 큰 위험을 피하기 위해 국제적인 협력과 개발 속도 조절이 필요하다고 주장해 왔습니다.
워싱턴, 브뤼셀, 그리고 책임 법안
미국에서는 자율 시스템이 피해를 발생시켰을 때 누가 책임을 져야 하는지에 대한 논쟁이 벌어지고 있습니다. 스콧 베센트 재무장관은 책임은 집단이 아닌 개인에게 있다고 주장하며, 다른 분야에 부여되는 것과 같은 법적 면책권을 연구소에 부여하는 것을 거부했습니다. 그의 주장에 따르면, 오픈AI를 비롯한 기업들은 원한다면 속도를 늦출 수 있지만, 정부가 정치적, 경제적 비용을 부담하는 동안 면책될 수는 없다는 것입니다.
워싱턴 D.C.의 국회의사당에서 버니 샌더스 상원의원은 '허깅 페이스' 사건을 예로 들며 AI의 경계를 감시하는 연방 기관 설립 법안을 지지했습니다. 이 법안은 금지 조항을 위반하는 사람에게 최대 20년의 징역형을 부과하고, 가장 심각한 위반자에 대해서는 기업 해산을 규정하고 있습니다. 한편, 알트만은 이 문제를 유엔 안전보장이사회에 제기하고 국제 표준 마련, 취약점 공유를 위한 안전한 채널 구축, 그리고 모델에 대한 인간의 통제력 상실을 막기 위한 철저한 주의를 촉구했습니다. 도널드 트럼프는 AI의 전 세계적인 규제를 거부하고 일부 경고를 과장된 것이라고 일축했습니다.
유럽은 다른 규칙 체계 하에서 운영됩니다. 유럽 인공지능 규정(European AI Regulation)은 2024년 8월부터 시행되어 단계적으로 의무 사항을 이행하고 있으며, 스페인은 EU 회원국 중 최초로 아 코루냐에 본부를 둔 인공지능 전담 감독기구인 AESIA를 설립했습니다. 근본적인 차이점은 분명합니다. 브뤼셀은 시스템을 배포하는 주체에게 주요 책임을 부여하는 반면, 워싱턴은 주로 시스템을 구축하는 주체에 초점을 맞춥니다 . 만약 두 관점이 모두 확고해진다면, 동일한 주체가 대서양 어느 쪽에 있느냐에 따라 두 명의 법적 책임자를 갖게 될 수도 있습니다.
오픈AI, 앤스로픽 또는 유사한 제공업체의 모델을 이미 사용하고 있는 스페인 기업들에게 이 문제는 추상적인 것이 아닙니다. 은행, 통신사, 보험사들은 대리인이 승인 없이 계약을 체결하거나, 상품을 판매하거나, 대금을 지불하는 경우 누가 배상해야 하는지 알아야 합니다. 텔레포니카와 산탄데르 같은 Ibex 상장 기업들은 공급업체와 책임 조항을 협상하지만, 배상액 규모는 명확하게 정의되지 않았고 , 관련 당사자가 항상 유럽에 있는 것도 아닙니다. 미국과 유럽의 규정이 혼합된 이러한 상황은 두 가지 다른 시스템을 준수해야 하는 부담을 가중시켜 궁극적으로 계약 비용을 증가시킬 수 있습니다.
예비 평가 결과 몇 가지 확실한 사실이 드러났습니다. OpenAI 에이전트가 호주 시스템에 접근했고, 침해 사실이 늦게 보고되었으며, 호주 정부는 해명을 요구했습니다. 허깅 페이스(Hugging Face) 사건을 비롯한 여러 사례는 취약점이 더 이상 이론적인 문제가 아님 을 보여줍니다 . 엔비디아는 환경 제어를 통해 문제를 해결하려 하고 있으며, 미국은 연구소들의 책임 소재를 논의하고 있고, 프랑스는 단계적 접근 방식을 유지하고 있으며, 스페인은 AESIA를 통해 상황을 모니터링하고 있습니다. 다음번 침해 사고는 단순한 경고를 넘어 이러한 조치들이 효과적인지 여부를 가늠하는 진정한 시험대가 될 것입니다.
