새로운 AI 붐이 오면 회사들은 대개 똑같이 움직인다. 'AI 전담팀'을 새로 만들고, LLM 전용 인프라를 따로 세운다. 그런데 넷플릭스의 최근 엔지니어링 공유는 정반대를 가리킨다. LLM을 별도 사일로로 떼어내지 않고, 이미 잘 돌아가던 기존 ML 인프라 위에 그대로 얹었다.

왜 그랬을까. 그리고 이게 LLM을 프로덕션에 올리려는 모든 팀에 무슨 의미일까.

'LLM은 특별하다'는 착각

LLM이 등장하면 흔히 '이건 완전히 다른 물건이니 전용 스택이 필요하다'고 생각한다. 하지만 서빙 관점에서 LLM은 결국 무거운 추론 워크로드다. 넷플릭스는 추천·개인화로 이미 대규모 ML 서빙을 운영해왔고, 그 위에 LLM을 얹는 편이 새 왕국을 세우는 것보다 빠르고 안정적이었다.

두 엔진을 하나로 — vLLM + Triton

기본 서빙 엔진으로 vLLM을 택했다. vLLM은 PagedAttention 같은 기법으로 GPU 메모리를 알뜰하게 써서 처리량(throughput)을 크게 끌어올리는 오픈소스 LLM 추론 엔진이다.

그리고 이걸 기존에 쓰던 Triton(NVIDIA 추론 서버) 기반 통합 서빙 체계에 연결했다. LLM 전용 파이프라인을 새로 만드는 대신, 기존 서빙 표준에 LLM을 '한 종류의 모델'로 끼워 넣은 것이다.

왜 이게 인사이트인가

새 기술이 올 때마다 조직과 인프라를 새로 쪼개면 운영 복잡도가 기하급수로 는다. 모니터링·배포·롤백·비용 관리를 전부 두 번씩 해야 한다. 넷플릭스의 선택은 반대다 — 새로운 모델 종류를, 검증된 기존 플랫폼의 '한 사례'로 흡수하기. 화려하진 않지만 스케일에선 이게 이긴다.

개발자에게 남는 교훈은 이렇다. "우리도 AI 하려면 전용 팀·전용 스택부터 만들어야 하나?"라는 질문에, 넷플릭스는 **"먼저 기존 것에 얹어봐라"**라고 답하는 셈이다.

마무리

가장 성숙한 조직은 새 기술을 위해 새 왕국을 세우지 않는다. 이미 잘 돌아가는 성(城) 안에 방 하나를 더 낼 뿐이다.

---

참고 자료

• Netflix Technology Blog — 사내 LLM 서빙 플랫폼 (2026)