본문으로 건너뛰기

AI 상담이 답답한 진짜 이유 — 지식에 '관계'가 없기 때문입니다

흩어진 낱장 문서들이 왼쪽에, 서로 연결된 지식 지도가 오른쪽에 대비되고 그 사이에 상담 채팅 아이콘이 놓인 인포그래픽

AI 상담을 운영하고 계신 분들에게서 요즘 이런 이야기를 듣습니다.

💬 "지식베이스도 다 연결했는데, 고객이 조금만 비틀어 물으면 AI가 엉뚱한 문서를 읽어요."

💬 "지난달에 바뀐 정책인데, AI는 아직 옛날 답변을 하고 있더라고요."

지난 1부에서 저희는 AI 상담이 고객을 답답하게 만드는 문제를 워크플로우와 AI의 맥락 공유, 지식베이스(RAG), API(시스템 간 연동 창구) 실행 도구, 국내 상담 환경 최적화라는 4가지 방식으로 풀어냈습니다. 이번 글은 그 다음 단계의 이야기입니다. 지식베이스를 갖춘 뒤에도 남는 답답함 — 그 원인을 진단하고, 해피톡이 준비하고 있는 그래프 관계 기반 지식 시스템을 소개합니다.

AI 상담의 지식 품질을 고민하고 계신 CX(Customer Experience, 고객 경험) 리더와 상담 운영 담당자분들을 위한 글입니다.

1. 지식베이스가 있는데도 왜 답답할까​

문서 조각 하나가 반복해서 검색창을 오가며 같은 회전을 도는 구조를 표현한 인포그래픽

먼저 지금의 표준 기술부터 짚겠습니다. 오늘날 AI 상담의 지식 검색은 대부분 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 방식입니다. 고객이 질문하면 지식베이스에서 관련 문서 조각을 찾아 AI에게 건네주고, AI가 그 조각을 읽고 답변을 만듭니다. 1부에서 소개해 드렸듯 해피톡은 이 RAG 인프라를 자체 구축해 정확도를 끌어올려 왔습니다.

그런데 이 구조에는, 아무리 검색을 잘해도 남는 세 가지 한계가 있습니다.

  1. 질문마다 처음부터 다시 찾습니다. 검색은 매번 새로 시작됩니다. 어제의 상담에서 확인된 내용이 오늘의 검색을 더 똑똑하게 만들어 주지 않습니다.
  2. 조각을 읽습니다. 문서 한 장은 정확히 찾아도, 그 문서가 다른 정책·상품·사례와 어떤 관계인지는 모릅니다. 문서들 사이의 '우리 회사 사정'이 빠져 있는 것입니다.
  3. 지식이 낡습니다. 정책이 바뀌어 문서 간 내용이 어긋나도, 조각 단위 검색은 그 불일치를 스스로 알아채지 못합니다.

비유하자면 이렇습니다. 지금의 구조는 매번 처음 출근한 아르바이트생에게 매뉴얼 한 페이지 복사본만 쥐여 주는 것과 같습니다. 그 페이지는 정확합니다. 하지만 고객이 "그런데 제 경우는 좀 달라서요"라고 말하는 순간, 옆 페이지와 지난달 공지와 비슷한 처리 사례를 함께 아는 3년 차 상담사와의 차이가 드러납니다.

중요한 것은, 이것이 RAG가 잘못됐다는 이야기가 아니라는 점입니다. RAG는 필요조건입니다. 그 위에 무엇이 얹혀야 하는지가 이 글의 주제입니다.

2. 업계가 움직이는 방향 — '더 많이 검색'이 아니라 '관계로 연결'​

쌓여 있던 문서 더미가 노드와 연결선으로 이루어진 지식 그래프로 변환되는 흐름을 표현한 인포그래픽

이 한계는 상담 업계만의 고민이 아닙니다. 최근 개발자 생태계에서는 코드·문서·업무 지식을 낱장으로 검색하는 대신, 서로 연결되고 지속 갱신되는 '지식 그래프'나 위키 형태로 만들어 AI가 관계를 따라 찾게 하는 오픈소스 도구들이 빠르게 성장하고 있습니다. AI 도구의 경쟁축이 "얼마나 많은 문서를 한 번에 읽는가"에서 "지식을 어떤 구조로 기억하는가"로 이동하고 있는 것입니다.

잠깐 — '그래프'와 '위키', 두 단어부터 쉽게 짚고 가겠습니다​

그래프(graph)는 점과 선입니다. 지식 하나하나가 점(노드)이 되고, 지식 사이의 관계가 선(연결)이 됩니다. 지하철 노선도를 떠올려 보시면 됩니다 — 역 하나만 아는 것과 노선도 전체를 아는 것의 차이입니다. 역 하나(문서 한 장)를 정확히 아는 것도 중요하지만, "여기서 어디로 갈아탈 수 있는가"라는 연결을 알아야 목적지(고객 문제의 해결)까지 갈 수 있습니다.

위키(wiki)는 링크로 연결된, 살아 있는 문서입니다. 위키피디아에서 파란 링크를 타고 문서 사이를 건너다녀 보신 경험이 있으실 겁니다. 위키의 본질은 두 가지입니다 — 문서끼리 링크로 연결되어 있다는 것, 그리고 내용이 계속 갱신된다는 것. 그런데 눈치채셨을까요? "문서 + 링크"라는 구조는 그대로 "점 + 선", 즉 그래프입니다. 위키와 지식 그래프는 같은 구조의 두 얼굴입니다 — 사람 눈에는 읽기 좋은 위키로 보이고, AI에게는 관계를 따라 탐색할 수 있는 그래프가 됩니다.

AI 연구자들이 먼저 도착한 결론 — Karpathy의 'LLM 위키'​

이 방향을 상징적으로 보여준 것이 AI 연구자 안드레이 카파시(Andrej Karpathy, OpenAI 창립 멤버·전 테슬라 AI 리드)가 올해 공개한 'LLM 위키'라는 아이디어입니다. 여기서 LLM(Large Language Model, 거대 언어 모델)은 챗봇 AI의 두뇌에 해당하는 기술을 가리킵니다 — 즉 "AI가 읽고 가꾸는 위키"라는 뜻입니다. 그의 비유가 정확히 저희 1장의 문제의식과 닿아 있습니다.

왼쪽은 냄비와 장바구니가 순환 화살표로 반복되는 요리 루프, 오른쪽은 링크로 연결된 위키 문서가 층층이 쌓여 가는 대비 인포그래픽

지금의 검색(RAG) 방식은 배가 고플 때마다 매번 장을 보고 요리를 처음부터 하는 것과 같다. 한 번 요리한 지식을 서로 링크된 위키로 정리해 두면, 다음부터는 위키에 묻는다. 지식이 쌓인다.

즉 AI에게 원본 문서 더미를 매번 다시 읽히는 대신, AI가 읽고 갱신하기 좋은 자기만의 백과사전을 만들어 주자는 것입니다. 이 아이디어는 LangChain의 OpenWiki 같은 "AI 에이전트를 위한 위키형 장기 기억" 도구로 빠르게 구현되고 있습니다.

지식의 '형식'이 표준이 되고 있습니다 — Google의 OKF​

개별 도구를 넘어 표준화도 시작됐습니다. Google Cloud는 OKF(Open Knowledge Format)라는 이름으로 "AI가 읽고 갱신하기 쉬운 지식 묶음의 형식"을 공개 사양으로 내놓았습니다. 문서 세계에 PDF라는 공통 형식이 있어 어떤 프로그램에서든 같은 문서를 열 수 있듯이, AI용 지식 묶음에도 공통 형식을 만들자는 것입니다. 도입하는 기업 입장에서 이 표준화가 갖는 의미는 분명합니다 — 이런 형식 위에 쌓인 지식은 특정 도구나 벤더에 갇히지 않는 회사의 지식 자산이 됩니다.

이 흐름을 상담 도메인으로 가져오면 이렇게 번역됩니다.

상품, 정책, FAQ(자주 묻는 질문), 상담 이력이 낱장 문서가 아니라 서로 연결된 지도가 됩니다. AI는 문서를 '검색'하는 것을 넘어, 지도 위의 관계를 '추적' 합니다.

3. 그래프 관계 기반 지식이 상담 현장에서 하는 일​

왼쪽은 문서 조각 하나로 끊기는 평면 검색, 오른쪽은 주문에서 정책과 사례까지 연결선을 따라 도달하는 관계 추적을 대비한 인포그래픽

말로 설명하는 것보다, 상담 한 건을 끝까지 따라가 보는 편이 빠릅니다.

💬 고객: "지난주에 산 신발, 한 번 신었는데 반품 되나요?"

평면 검색이라면 — '반품 규정' 문서 조각을 찾아 이렇게 답합니다. "구매 후 7일 이내 미사용 상품은 반품 가능합니다." 틀린 답은 아니지만, 고객은 이미 "한 번 신었다"고 말했습니다. 원론적인 답변 앞에서 고객의 다음 질문은 뻔하고, 상담은 한 바퀴를 돕니다.

관계를 추적하면 — AI가 밟는 경로가 달라집니다.

이 고객의 주문 → 주문 속 상품의 카테고리(신발) → 카테고리별 반품 정책 → 정책에 연결된 '착용 시 예외 조항' → 예외 조항이 적용된 과거 유사 상담 사례

다섯 개의 지식이 관계선을 따라 연결되고, AI는 "이 고객의 이 주문"에 맞는 답에 도달합니다. 착용 흔적 기준, 예외 접수 절차, 비슷한 사례의 처리 결과까지 — 3년 차 상담사가 머릿속에서 자연스럽게 잇던 경로를, 지식 그래프가 대신 잇는 것입니다.

여기서 1부의 이야기와 연결됩니다. 1부에서 강조해 드린 것은 워크플로우와 AI의 맥락 공유 — 고객이 이미 입력한 주문번호를 AI가 다시 묻지 않는 구조였습니다. 워크플로우가 이미 아는 것(주문번호, 고객 정보)이 지식 그래프의 출발점과 연결될 때, 비로소 "다시 묻지 않고, 끝까지 해결하는" AI 상담이 완성됩니다.

4. 자동으로 쌓이는 지식은 오류도 자동으로 쌓입니다​

지식 노드들을 방패가 감싸고 출처·시간·검증 표시 아이콘이 각 노드에 달려 있는 신뢰 장치 인포그래픽

여기까지 읽으시면 "그럼 지식을 그래프로 자동으로 쌓으면 되겠네요"라고 생각하실 수 있습니다. 저희는 이 지점에서 한 가지를 정직하게 말씀드리려 합니다. 자동으로 쌓이는 지식은, 오류도 자동으로 쌓일 수 있습니다. 잘못 연결된 관계 하나가 잘못된 답변 열 개를 만들 수 있습니다.

그래서 관계 기반 지식 시스템에는 반드시 신뢰 장치가 함께 설계되어야 합니다. 도입을 검토하실 때 다음 네 가지를 확인해 보시기 바랍니다.

  • 출처 표시 — 이 답변이 어느 문서, 어느 정책에서 왔는지 추적할 수 있는가
  • 시간 정보 — 지식마다 생성일과 마지막 검증일이 남는가
  • 충돌 감지 — 정책 변경으로 지식끼리 어긋나면 시스템이 알아채는가
  • 사람의 검수 흐름 — 자동 생성된 지식이 상담에 반영되기 전에 운영자가 확인하는 단계가 있는가

1부의 마지막에 저희는 이렇게 적었습니다 — "생성형 AI의 유연함과 운영 구조의 단단함, 이 두 가지가 균형 있게 연결될 때 비로소 가치 있는 AI 상담이 실현됩니다." 이 원칙은 지식 레이어에서도 동일합니다. 유연하게 쌓이는 지식일수록, 단단한 검증 아래에 있어야 합니다.

5. 해피톡 AI 에이전트가 준비하고 있는 것​

워크플로우 블록과 지식 그래프가 맞물려 하나의 상담 흐름으로 이어지는 결합 구조 인포그래픽

해피톡 AI 에이전트는 자체 RAG 지식베이스 위에, 관계 기반 지식 시스템을 얹는 확장을 준비하고 있습니다. 방향은 이 글에서 설명드린 그대로입니다.

  • 관계 레이어 — 상품, 정책, FAQ, 상담 이력을 낱장 문서가 아니라 연결된 지식 지도로 관리합니다
  • 워크플로우와의 결합 — 워크플로우가 이미 확보한 고객 맥락(주문, 이력)이 지식 추적의 출발점이 됩니다
  • 신뢰 가드레일 — 출처와 갱신 이력이 남는 지식, 운영자가 검수할 수 있는 지식을 원칙으로 합니다

고객 입장에서는 "다시 설명하지 않아도 되는" 상담으로, 상담사 입장에서는 신규 입사자도 3년 차의 지식 경로를 빌려 쓰는 온보딩 단축으로, 운영 입장에서는 정책이 바뀌어도 답변이 일관되는 지식 관리로 돌아가는 변화입니다.

마치며 — 우리 AI 상담의 지식을 점검하는 4가지 질문​

도입 검토에 바로 쓰실 수 있도록, 이 글의 내용을 질문 네 개로 정리했습니다.

  1. 우리 AI는 지난 대화와 주문 맥락을 기억하고 있는가, 매번 처음부터 묻는가?
  2. 우리 AI는 문서 한 장이 아니라 문서 사이의 관계를 알고 있는가?
  3. 정책이 바뀌면 관련된 지식이 함께 바뀌는가, 낡은 답변이 남는가?
  4. AI 답변의 출처와 검증일을 운영자가 확인할 수 있는가?
구분평면 검색형 지식베이스관계 기반 지식 시스템
검색 단위문서 조각연결된 지식 경로
맥락질문마다 초기화워크플로우·이력과 연결
정책 변경 시낡은 조각이 남을 수 있음연결된 지식의 충돌 감지
신뢰성문서 단위 관리출처·검증일·검수 흐름

생성형 AI의 유연함과 운영 구조의 단단함 — 그 균형의 다음 단계는 지식의 구조에 있습니다. 고객의 문제를 끝까지 해결하는 AI 상담을 고민하고 계신다면, 해피톡 AI 에이전트와 함께 준비해 보세요.

참고​