데모는 클라우드, 운영은 기기 위에서
에이전트 사고 뉴스가 나온 주에는 클라우드에 민감 문서를 올리는 습관을 다시 봐야 합니다. 온디바이스는 느리지만 유출 면적이 작습니다.
제가 직접 회의록 초안을 로컬 모델로 돌려 보니, 품질은 한 단계 낮아도 고객 이름이 외부로 나가지 않아 마음이 편했습니다. 솔직히 속도만 보면 클라우드가 이깁니다.
나누는 기준
- 공개 초안: 클라우드는 속도용.
- 고객·내부 수치: 온디바이스 또는 반출 금지 환경.
- 토큰 비용: 반복 작업은 로컬이 싸질 수 있습니다.
모델 순위를 바꾸기 전에, 어떤 데이터가 집 밖으로 나가는지만 적어 보세요. 그게 이번 주 점검입니다.