목적별·부하분산 라우팅
🔀
등록된 LLM이 없습니다
멀티 LLM을 등록하면 목적별 라우팅과 로드밸런싱이 활성화됩니다
라우팅 동작 방식
• Primary — 메인 추론에 사용. 여러 개 등록 시 우선순위 + 부하분산
• Light — 에이전트 라우팅, 프롬프트 전처리에 사용 (가벼운 모델 권장)
• Fallback — Primary가 모두 바쁘거나 장애 시 자동 전환
• 동일 역할 내 여러 서버 → 우선순위가 같으면 요청 적은 서버로 분배