26일 빅데이터 분석 인공지능(AI) 기업 S2W가 주최한 연례 기술 컨퍼런스 ‘SIS 2025: MOVEMENT’에서 기조연설을 맡은 신승원 카이스트 교수는 초거대 언어모델(LLM)의 한계를 지적하며, 이를 보완할 수 있는 대안으로 ‘지식 그래프(Knowledge Graph)’의 중요성을 강조했다.
신 교수는 이날 기조연설에서 “LLM은 자연어 응답 생성에는 강하지만, 왜 그런 답을 도출했는지 설명이 어렵고 최신성이나 정확성에서도 취약하다”며 “특히 범죄 수사, 보안, 금융 사기 같은 고신뢰 분야에서는 구조적인 추론 능력을 갖춘 시스템이 필요하다”고 말했다.
지식 그래프는 정보를 키워드 중심이 아닌 관계 기반으로 연결하고 추론할 수 있도록 만든 구조로, 최근 글로벌 기술 기업들은 이를 LLM과 결합해 정확도와 설명력을 높이는 방향으로 전환하고 있다.
신 교수는 미 국방 프로젝트 ‘매맥스(MatMax)’를 대표 사례로 소개했다. 미 수사기관은 당시 다크웹에서 유통되던 인신매매 관련 정보를 분석하기 위해 약 6,800만 건의 비정형 문서를 수집하고, 이를 기반으로 온톨로지를 구성했다. 온톨로지는 다양한 데이터 형식을 하나의 표준 구조로 정리한 규칙 집합으로, 당시 작성된 룰셋만 1,000개가 넘었다.
이 작업을 통해 수사기관은 게시글 문맥이 일정하지 않고 가명이 사용된 피해자를 정확히 식별할 수 있었다. 최종적으로 해당 데이터는 미국 워싱턴 경찰의 수사에 활용돼 실제 인신매매 조직 검거로 이어졌다.
신 교수는 “단순 검색으로는 불가능했던 숨은 관계를 지식 그래프가 밝혀냈다”고 설명했다. 그는 이어 “LLM이 다방면의 지식을 가진 석사과정 학생이라면, 지식 그래프는 특정 도메인을 깊이 파는 박사과정에 비유할 수 있다”며 이 둘의 결합이야말로 완성도 높은 AI 추론 체계를 구축하는 해법이라고 강조했다.
실제로 마이크로소프트(MS)는 최근 ‘그래프RAG(GraphRAG)’라는 프레임워크를 개발해 LLM에 지식 그래프를 접목한 구조를 제시한 바 있다. 이 방식은 문서 내 개체(Entity)와 관계(Relation)를 자동 추출해 그래프로 구성하고, 사용자의 질의가 들어오면 해당 그래프 내 관련 노드를 선별해 LLM의 응답 맥락으로 활용하는 구조다.
기존 RAG(Retrieval-Augmented Generation)보다 환각 가능성을 낮추고 응답의 일관성과 설명력을 높인다는 평가를 받고 있다.
마이크로소프트 외에도 여러 글로벌 기업들이 LLM과 지식 그래프 결합 기술을 차세대 아키텍처로 채택하고 있으며, Azure OpenAI와 Cosmos DB 기반의 그래프 연동도 활발히 이뤄지고 있다.
신 교수는 “한국도 지금부터 LLM과 지식 그래프의 결합 구조에 주목해야 한다”며 특히 범죄 수사·보안·금융 분야에서 지식 그래프 기반의 추론 시스템 구축이 필요하다고 강조했다.
한국은 다국어 문서, 로컬 보안 데이터, 비정형 정보가 혼재돼 있는 환경이기 때문에, 도메인 맞춤형 온톨로지와 그래프 구조를 갖춘 추론형 AI 인프라가 필요하다는 설명이다.
국내에서도 최근 한컴, 티맥스 등 일부 기업들이 LLM과 지식 그래프 결합 실험에 나선 것으로 알려졌다. 데이터 라벨링, 관계 추출, 그래프 탐색 등을 자동화하거나 반자동화하는 도구들이 속속 도입되면서 실증 단계에 들어간 사례들도 등장하고 있다.
신 교수는 “LLM은 강력한 생성 능력을 갖고 있지만, 그 자체로는 설명 가능성이나 도메인 깊이에서는 한계가 있다”며 “우리가 원하는 건 단순 검색이 아니라 연결이며, 이 연결은 반드시 이유를 설명할 수 있어야 한다”고 강조했다. 이어 “지식 그래프는 그러한 이유 기반 추론에 유망한 대안”이라고 덧붙였다.
