Quem quer rodar os próprios modelos, por custo, privacidade ou controle, precisa servir a inferência de forma eficiente. O vLLM é o motor open source de referência para isso: alta vazão e uso eficiente de memória para servir LLMs, com API compatível com a da OpenAI.
O que é o vLLM?
A técnica central é o PagedAttention, que gerencia a memória do cache de forma eficiente e permite vazão alta. Ele faz batching contínuo, paralelismo de tensor e pipeline e suporta quantização (FP8, AWQ, GPTQ). Como expõe uma API compatível com OpenAI, funciona como substituto direto para muitos clientes.
Recursos principais
- PagedAttention para uso eficiente de memória e alta vazão
- Batching contínuo e paralelismo de tensor/pipeline
- Quantização FP8, AWQ, GPTQ
- API compatível com OpenAI, drop-in para muitos clientes
Como a Reche usa
Self-hosting de modelos faz sentido em cenários de custo alto por API ou requisito de privacidade. A Reche avalia quando vale rodar modelos próprios com vLLM e quando a API gerenciada é mais eficiente, sempre pela conta que fecha para o cliente.