[태그:] llama.cpp
-
![[에이전트] 9. 컨텍스트 : KV 캐시와 압축의 사투 — 하루 만의 revert까지](https://cozlab.app/wp-content/uploads/2026/08/agent-09.png)
[에이전트] 9. 컨텍스트 : KV 캐시와 압축의 사투 — 하루 만의 revert까지
로컬 LLM 에이전트 컨텍스트 관리 실전 — 맥락이 죽는 옵션 버그, KV 캐시를 깨던 상시 축소의 revert, 요약이 쌓이는 역전 버그, 추정 대신 KV 실토큰 판정까지. 실패 기록이 자산이 되는 과정.
-
![[에이전트] 4. 추론 : 별도 서버 없이 프로세스 안에서 LLM 돌리기](https://cozlab.app/wp-content/uploads/2026/08/agent-04.png)
[에이전트] 4. 추론 : 별도 서버 없이 프로세스 안에서 LLM 돌리기
llama-server를 걷어내고 node-llama-cpp 인프로세스 추론으로 전환한 기록. 콜드 23초→웜 1.9초(36배) 실측, 세션당 388MiB 메모리 실측으로 기본값을 다시 잡았다.