이 게시물은 Claude Code 에이전트에서 세션 캐시(claude-mem)와 외부 저장소(Vault KV·Milvus·Mem0)를 다양한 방식으로 조합한 메모리 계층 구성을 비교한 실험을 다룬 글입니다.

핵심 실험 설계

• 세션 캐시(L1: claude-mem), 기본 메모리(L2: Auto Memory), 외부 저장소(L3: Vault/Milvus/Mem0)를 조합한 5개 시나리오 비교
• 총 약 2,650회 호출로 토큰 사용량·응답 시간·키워드 기반 정확도 측정

주요 결과

• 파일럿에서는 일부 외부 저장소 시나리오에서 토큰·응답 시간 절감 관찰, 확장 실험에서는 오히려 토큰·응답 시간 증가 관찰
• 세션 캐시 단독(B)은 확장 실험에서 정확도 크게 개선된 반면 외부 저장소를 추가한 구성(C, E)은 정확도 저하 또는 제한적 효과

분석과 결론

• 과도한 과거 이력 주입으로 Context Window 포화 및 추론 품질 저하 가능성, 관련성 있는 정보의 적정량 주입이 핵심
• 메모리 계층은 단순히 많이 넣는 것이 아니라 현재 질문과 관련된 정보를 적절히 주입하는 방식이 중요