TRACK 04

프로덕션 운영

Guardrails, HITL, 관찰 가능성, 배포 전략, 비용 최적화, 에러 핸들링, 테스팅, 보안까지. AI Agent를 실제 프로덕션에서 안정적으로 운영하는 모든 기술을 다룹니다.

🛡️ Guardrails 👤 HITL 📡 Observability 🚢 배포 전략 💰 비용 최적화 🔧 에러 핸들링 🧪 테스팅 🔒 보안

입출력 검증, 콘텐츠 필터링, PII 마스킹, 프롬프트 인젝션 방어, 토픽 경계 설정

Input ValidationContent FilterPII

Human-in-the-Loop

승인 게이트 설계, 에스컬레이션 정책, 비동기 HITL API, 감사 로그, 사후 검토

Approval GateEscalationAudit Log

관찰 가능성

LangSmith 추적, OpenTelemetry 통합, 분산 트레이싱, 알림 설정, 대시보드 구성

LangSmithOpenTelemetryTracing

Docker/K8s 배포, 카나리 배포, 블루-그린, 오토스케일링, GPU 추론 서버 설정

DockerKubernetesCanary

비용 최적화

프롬프트 캐싱, 모델 라우팅, 배치 처리, 토큰 예산, 비용 모니터링 대시보드

Prompt CachingModel RoutingBatch

에러 핸들링

재시도 전략, Circuit Breaker, Fallback 체인, 부분 실패 복구, 에러 분류 체계

RetryCircuit BreakerFallback

테스팅 전략

Unit/Integration/E2E 테스트, LLM 모킹, 확정적 테스트, 회귀 탐지 파이프라인

Unit TestLLM MockRegression

프롬프트 인젝션, 민감 데이터 처리, API 키 관리, OWASP LLM Top 10, 침투 테스트

Prompt InjectionOWASP LLMSecrets