Cozlab

[에이전트] 8. 소형모델 : 4B로 버티는 설계 — 지연 로딩·발견성·루프 차단

4B 로컬 LLM 에이전트의 실전 대응 3종 — 도구 정의 지연 로딩(대화 여유 28%→73%), xlsx→excel을 못 잇는 발견성 문제, 성공만 반복하는 무한 루프를 결과 지문으로 끊기.

승인 창의 y/N을 y/N/a로 — AI 에이전트에 ‘항상 허용’ 규칙을 넣되 정책·파괴적 동작은 못 뚫게, 통과는 RULE_APPROVED로 남게 설계한 기록. 편의 기능이 안전을 갉지 않게 하는 공식.

AI 에이전트의 승인·감사 설계 — 승인 상태 6종으로 ‘누가 허락했는가’를 남기고, 클로드 코드식 권한 모드 4종을 얹되 정책 DENY와 파괴적 동작은 무엇으로도 못 뚫게 한다.

AI 에이전트에 셸을 쥐여주는 법 — 셸 없이 실행, 화이트리스트, 승인 전 precheck, 승인, 감사의 다섯 겹. 파일 158개를 승인 1회로 옮기게 한 실측 개선까지.

llama-server를 걷어내고 node-llama-cpp 인프로세스 추론으로 전환한 기록. 콜드 23초→웜 1.9초(36배) 실측, 세션당 388MiB 메모리 실측으로 기본값을 다시 잡았다.

하루 반 만든 Java 에이전트를 810파일 커밋 하나로 TypeScript+Bun에 이식한 기록. 폐쇄망 단일 바이너리 배포가 언어를 결정했고, 패리티 규율이 재작성 리스크를 눌렀다.

AI 에이전트 설계의 첫 원칙 — LLM은 도구 이름과 인자만 반환하고, 실행은 런타임이 정책·승인·감사로 대행한다. 경로 경계 대신 승인으로 안전을 옮긴 결정까지.

인터넷이 차단된 폐쇄망 사무 PC에서 로컬 LLM 에이전트를 직접 만든 8일 45커밋의 기록. 왜 클라우드 AI 대신 자체 에이전트인지, 제약과 설계 방향을 정리한다.

새 프로젝트든 레거시든, 어떤 자바 버전과 배포판을 골라야 하는지 상황별로 정리. 배포판 선택 기준과 8→17 마이그레이션 체크리스트로 시리즈를 마무리한다.

Java 8·11·17·21 LTS의 문법·API·성능·지원을 한 장의 표로 정리. 각 버전의 대표 기능과 ‘어디까지 되는지’를 한눈에 비교하고 내 코드의 버전을 판별하는 실습까지 담는다.