보안과 효율성, 두 마리 토끼를 잡는 스마트한 AI 의사결정 시스템.
데이터의 민감도와 작업의 복잡성을 분석하여, Local LLM과 Cloud LLM 중 최적의 경로를 자동으로 선택합니다.
사용자의 프롬프트가 입력되면 PII(개인정보) 감지기 및 키워드 분류기가 먼저 작동하여 데이터의 성격을 파악합니다.
보안 등급(High/Low)과 난이도(Complex/Simple) 매트릭스에 따라 실행될 모델을 결정합니다.
Local LLM은 보안 데이터를, Cloud LLM은 최신 정보를 처리하며, 최종적으로 Orchestrator가 결과를 통합하여 사용자에게 전달합니다.
| Security / Complexity | High Complexity | Low Complexity |
|---|---|---|
| Sensitive Data | Local LLM (70B) | Local LLM (7B) |
| Public Data | Cloud LLM (GPT-4) | Cloud LLM (GPT-3.5) |
* 비용 효율과 데이터 보안을 동시에 만족하는 최적의 모델 할당
모든 쿼리를 비싼 상용 API(GPT-4 등)로 처리하지 않고, 단순 업무는 경량 로컬 모델이 처리하여 API 비용을 최대 60%까지 절감합니다.
네트워크 라운드트립이 없는 로컬 추론을 통해, 단순 질의응답이나 사내 검색 기능에서 즉각적인 반응 속도(Latency < 200ms)를 제공합니다.