거대언어모델(Large Language Model, LLM)을 악용하고 일반적인 AI 안전장치나 규정을 우회해 사이버 공격 및 데이터를 탈취하는 ‘다크 인공지능(Dark AI)’을 통한 더욱 정교하고 은밀한 공격이 증가하고 있어 주의가 필요하다. 특히 아시아태평양 지역에서 다크 AI의 부상으로 더욱 정교하고 은밀한 공격이 증가할 것으로 예상된다.

글로벌 사이버 보안 리더 카스퍼스키(Kaspersky)는 18일 이 같은 내용이 담긴 리포트를 발표했다. 카스퍼스키의 세르게이 로즈킨 META 및 APAC 지역 GReAT(글로벌 연구 분석팀) 총괄 책임자는 “챗GPT가 2023년 전 세계적인 인기를 얻은 이후, 우리는 영상 제작 같은 일상적인 작업부터 기술적인 위협 탐지·분석에 이르기까지 다양한 AI 활용을 목격해 왔다”고 말했다. 이어 “동시에 악의적인 행위자들 또한 공격 역량을 강화하는 데 AI를 사용하고 있다”며 “우리는 이제 사이버 보안과 사회 전반에서 AI가 방패가 되고, 다크 AI가 검이 되는 시대에 진입하고 있다”고 말했다.

다크 AI는 비제한 LLM을 로컬 또는 원격에서 전체 프레임워크 혹은 챗봇 시스템 내에 배치해 악의적, 비윤리적 또는 비인가 목적에 사용하는 것을 의미한다. 이 시스템은 표준적인 안전성, 컴플라이언스 또는 거버넌스 통제에서 벗어나 운영되며, 이에 따라 특별한 감시 없이 기만, 조작, 사이버 공격 또는 데이터 남용 등의 기능을 수행할 수 있도록 한다.

로즈킨은 현재 가장 일반적이고 널리 알려진 악의적 AI 활용 방식으로 블랙햇 GPTs(Black Hat GPTs)를 소개했다. 이는 2023년 중반경부터 등장했으며, 악의적 코드 생성, 대량 혹은 표적 공격용 피싱 이메일 작성, 음성 및 영상 딥페이크 생성, 그리고 레드팀 작전 지원 등 비윤리적·불법적·악성 행위를 수행하기 위해 의도적으로 구축되거나 수정된 AI 모델을 의미한다.

블랙햇 GPTs는 비공개 또는 준공개 AI 모델일 수 있으며, 알려진 예로는 웜GPT(WormGPT), 다크바드(DarkBard), 프라우드GPT(FraudGPT), 잔토록스(Xanthorox) 등이 있다. 이들은 사이버 범죄, 사기, 자동화 공격을 지원하도록 설계되었거나 변형됐다.

전형적인 다크 AI 활용 사례 외에도, 로즈킨은 카스퍼스키 전문가들이 현재 국가 배후 공격자들이 LLM을 그들의 작전에서 활용하는 더욱 어두운 상황을 목격하고 있다고 밝혔다.

로즈킨 총괄은 “최근 오픈AI는 자사의 AI 도구를 악용하려는 20건 이상의 은밀한 영향력 행사 및 사이버 작전을 방해했다고 발표했다”며 “우리는 위협 행위자들이 공공 및 사설 위협 생태계에서 생성형 AI를 무기화하기 위한 더욱 교묘한 방법들을 개발할 것으로 예상해야 한다”고 말했다.

오픈AI의 보고서에 따르면, 악의적 행위자들은 LLM을 사용해 설득력 있는 가짜 인물을 생성하고, 대상에게 실시간으로 반응하며, 피해자를 속이고 기존 보안 필터를 우회하기 위한 다국어 콘텐츠를 제작했다.

로즈킨 총괄은 이어 “AI는 본질적으로 옳고 그름을 구별하지 못한채 단지 명령어를 따를 뿐”이라며 “보호장치가 있더라도, APT 공격자들은 끈질긴 존재”라고 말했다. 이어 “다크 AI 도구가 더 쉽게 접근 가능해지고 역량이 강화되고 있다”며 “아시아태평양 지역의 조직과 개인은 사이버 보안 위생을 강화하고, AI 기반 위협 탐지 기술에 투자하며, 이러한 기술들이 어떻게 악용될 수 있는지에 대해 계속 학습해야 한다”라고 강조했다.

한편 카스퍼스키 전문가들은 다크 AI 및 AI 기반 사이버 위협 대응 방안 △Kaspersky Next와 같은 차세대 보안 솔루션을 활용해 공급망 내 AI 기반 악성코드 및 위협을 탐지할 것 △AI 기반 공격을 실시간으로 모니터링하기 위한 실시간 위협 인텔리전스 도구를 활용할 것 △섀도 AI 및 데이터 유출 위험을 줄이기 위한 접근 통제 및 직원 교육을 강화할 것 △보안 운영 센터(SOC) 구축을 통한 실시간 위협 감시 및 신속 대응 체계를 마련할 것 등을 제시했다.