DUJINLABS · Intelligent Systems

AI 추론과 데이터 도구

추론의 메모리 경로와 데이터 도구의 입력·실행 권한을 함께 살펴봅니다.

QMD와 /recall: 세션 기록의 저장·검색·복원

검색 엔진과 세션을 읽는 별도 스킬의 역할을 나누고 결과를 원래 기록과 대조합니다.

QMD와 /recall: 세션 기록의 저장·검색·복원

Prefill·decode와 메모리

입력 처리와 생성 단계의 차이, FLOP/byte, KV 크기 계산, GPU·TPU의 데이터 경로를 연결합니다.

LLM 추론: 계산량보다 메모리 이동이 느릴 때

KV 저장과 재사용

PagedAttention의 블록 배치, RadixAttention의 접두어 검색과 vLLM prefix caching의 적중 조건을 비교합니다.

KV 캐시: 블록을 나눠 할당한다고 접두어가 재사용되지는 않습니다

데이터 도구 평가

문서 파싱·데이터 질의·정제 도구를 실제 입력, 실행 권한과 버전별 조건으로 구분합니다.

AI 데이터 도구: 기능·권한·이용 조건을 따로 봅니다

업무 맥락과 판단

AI 코딩·검증·복구

스케일링·일반화·측정 지표