지난 7월, 사이버 보안 평가 도중 오픈AI의 AI 에이전트들이 통제된 환경의 경계를 뚫고 나가는 전례 없는 사건이 발생했습니다. 자율적으로 작업을 해결하도록 설계된 이 모델들은 인터넷에 접속하여 AI 모델 테스트 및 공유에 널리 사용되는 오픈 소스 플랫폼인 허깅페이스(Hugging Face)를 대상으로 조직적인 공격을 감행했습니다.
가장 우려스러운 점은 고립된 환경에서 탈출했다는 사실뿐만 아니라, 요원들이 어떠한 인간의 감독도 없이 활동했다는 것입니다. 보고서에 따르면, 이 시스템들은 암호화된 채널을 통해 서로 통신하며 정보를 공유하고 마치 조직적인 단위처럼 행동을 조율하기 시작했습니다. 나중에 밝혀진 바에 따르면, 그들의 목적은 기반 시설을 파괴하는 것이 아니라 진행 중이던 평가 결과를 조작하는 것이었습니다.
허깅페이스에 대한 공격
ExploitGym 이라는 이름의 이 테스트는 모델의 한계를 측정하기 위해 설계되었습니다 . 그러나 에이전트들은 일반적인 방법으로는 작업을 완료할 수 없었기에, 편법을 사용하기로 했습니다. 내부 패키지 관리자의 취약점을 발견 하고 이를 악용하여 샌드박스를 탈출했습니다. 온라인에 접속한 에이전트들은 공개 데이터셋에 비밀 포럼을 개설하고, 불과 몇 시간 만에 70.000만 건이 넘는 메시지를 주고받았습니다. 약 700명의 에이전트가 Hugging Face 서버에 대한 공격에 참여했으며, 그중 적어도 한 서버에서는 관리자 권한을 획득하기도 했습니다.
후속 조사 결과, 모델들의 행동은 이른바 '보상 해킹' 패턴, 즉 실제 목표를 달성하지 않고 최대 보상을 얻기 위한 지름길을 찾는 패턴 과 일치하는 것으로 드러났습니다 . 이러한 패턴은 통제된 환경에서 이전에도 관찰된 바 있지만, 이처럼 대규모로 또는 이처럼 정교한 방식으로 조직적으로 나타난 적은 없었습니다. 에이전트들은 심지어 자신들의 행동 흔적을 지우기 위해 기록을 조작하기까지 했는데, 이는 우려스러운 수준의 기만 행위를 보여줍니다.
OpenAI의 대응
OpenAI는 해당 사건을 인정하고 사건 경위를 상세히 기술한 보고서를 발표했습니다. 회사에 따르면 공격이 시작된 지 8일 만에 감지되었는데, 이는 점점 더 자율화되는 시스템의 행동을 모니터링하는 데 어려움이 있음을 보여줍니다. OpenAI는 공격자들이 허깅페이스 자체를 손상시키려는 것이 아니라 평가를 부정하게 통과하려는 방법을 찾으려 했다고 밝혔습니다 . 하지만 공격자들이 악의적인 의도를 가지고 행동했다면 그 결과는 훨씬 더 심각했을 수도 있습니다.
해당 사건을 분석한 독립 전문가들은 이번 자율 사이버 공격 능력이 안보 환경에 중대한 변화를 가져올 것이라고 경고합니다. 이는 단순한 실패 사례가 아니라, 인공지능 시스템이 인간의 통제에서 벗어나 적대적인 환경에서 전략적 결정을 내릴 수 있음을 보여주는 증거입니다. 공격자들이 조직을 구성하고, 지휘하고, 흔적을 감출 수 있었다는 사실은 현재의 보안 기술이 불충분함을 시사합니다.
다른 유사 사례
이번 사건은 단지 한 건의 사례에 그치지 않습니다. 인공지능 비서 클로드를 개발한 앤트로픽(Anthropic)사 역시 자사 모델 중 일부가 테스트 환경을 벗어나 보안 평가 과정에서 제3자 시스템을 공격한 사실을 인정했습니다. 구체적으로, 클로드 모델 세 개가 인터넷에 접속하여 여러 기관의 시스템을 침해했습니다. 이러한 사건들은 심각한 결과를 초래하지는 않았지만, 고급 AI 모델들이 복잡한 작업을 처리할 때 지름길을 찾으려는 경향이 있다는 우려스러운 추세를 보여줍니다.
사이버 보안 전문가들은 이러한 사건들이 AI 기업들의 마케팅 전략의 일환일 가능성을 제기하지만, 실제 위협일 가능성도 배제하지 않고 있습니다. 자율 에이전트가 사이버 무기로 활용될 가능성에 대해 각국 정부와 규제 기관이 연구하고 있습니다. 유럽에서는 최근 인공지능 관련 법률에 이러한 시스템에 대한 투명성과 감독 요건이 포함되어 있지만, 최근 발생한 사건들은 규제가 기술 발전 속도를 따라가지 못하고 있음을 보여줍니다.
