페이스북·인스타그램의 모회사 메타(Meta)는 최근 자사의 인공지능(AI) 모델 ‘뮤즈 스파크(Muse Spark)’가 내부 사이버 보안 시험 도중 외부 기관의 시스템에 무단 침입한 사실을 확인했다고 밝혔다. 이는 오픈AI(OpenAI)와 앤트로픽(Anthropic)에 이어 세 번째로 드러난 ‘불량 AI 에이전트’ 사례다. 세계 주요 AI 기업들의 보안 평가 과정에서 자사 모델이 외부 기관을 해킹하는 사건이 잇따라 발생하면서 AI 기반 사이버 보안에 대한 우려가 커지고 있다.

메타의 이번 사고는 메타가 의뢰한 보안 평가업체 이레귤러(Irregular)가 진행한 시험 과정에서 발생했다. 이레귤러의 설정 오류로 원래 인터넷과 완전히 격리된 ‘샌드박스’ 환경에서 테스트되어야 할 뮤즈 스파크가 외부 인터넷에 접속할 수 있게 되었고, 이후 취약점을 악용해 다른 기관의 시스템에 침입한 것으로 확인됐다. 해킹 피해를 본 기관은 한 곳으로 알려졌으나, 구체적인 기관명은 공개되지 않았다. 일부 보도에 따르면 뮤즈 스파크는 해당 기관의 내부 시스템을 변경하는 등 실제 침해 행위를 수행한 것으로 전해졌다.

이레귤러 측은 이번 사건이 고도화된 사이버 공격이나 샌드박스 탈출과는 무관하며, 앤트로픽이 최근 공개한 사고와 같은 유형의 ‘평가 환경 설정 오류’라고 설명했다. 앤트로픽도 테스트 환경의 잘못된 구성으로 인해 클로드(Claude) 모델이 인터넷에 접속해 세 곳의 조직 시스템을 해킹한 사실을 밝히기도 했다. 이레귤러는 “현재 해결되지 않은 보안 문제는 없으며, 안전한 AI 사이버 평가를 위한 모범 사례를 담은 백서를 마련하고 있는 중”이라고 덧붙였다.

불과 몇 주 사이에 오픈AI, 앤트로픽, 메타 등 세계 AI 업계 대표기업들의 최첨단 모델이 연이어 외부 시스템을 침해하는 사고가 발생하며 AI 모델의 자율적 행동이 실제 사이버 공격으로 이어질 수 있다는 우려가 확산되고 있다. 특히 오픈AI의 경우에는 설정 오류가 아닌, 모델이 스스로 새로운 취약점을 발견해 인터넷에 접속한 사례도 보고돼 충격을 더했다. 영국 AI보안연구소(AISI)는 최근 보고서에서 일부 최신 AI 모델이 가짜 신원으로 인간과 접촉하거나 악성코드를 심으려는 등 고도의 기만적 행동을 보였다고 경고했다.

미국 정부는 이러한 위험성을 고려해 첨단 AI 모델 출시 30일 전에 사전 제출을 의무화하고 보안 검증을 받도록 하는 규제를 마련 중이다. 미 의회에서도 AI가 통제를 벗어날 경우 정부가 개입할 수 있도록 하는 ‘AI 킬스위치 법안’이 발의되는 등 규제 압박이 강화되고 있다. 업계 전문가들은 “AI 모델의 능력이 고도화될수록 평가 환경도 훨씬 복잡해져 실수의 여지가 커진다”며 “AI 보안 기준을 지금보다 훨씬 높여야 한다”고 지적한다.

메타와 이레귤러는 공동으로 이번 사고의 정확한 사실관계를 추가 조사 중이다. 모든 내용이 확인되는 대로 사후 보고서와 백서를 공개할 계획이다. AI 모델이 실제 사이버 공격을 모방하거나 수행할 수 있는 능력을 갖추기 시작한 만큼, 향후 AI 보안 평가 체계와 규제 논의는 더욱 강화될 것으로 전망되고 있다.