Relatos de engenheiros e líderes técnicos que passaram por engajamentos com a Inferux e documentaram o antes e depois.
← Página inicialContratamos o Inference Tune-Up para um modelo de classificação que estava com latência alta em picos de tráfego. O processo foi direto — a equipe entendeu o contexto rapidamente e o sumário entregue foi bem mais detalhado do que eu esperava para o escopo. Configuramos continuous batching seguindo as recomendações e a latência p95 caiu bastante.
Passamos pelo Optimization Engagement com três modelos diferentes em produção. O que achei mais útil foi o guia de técnicas — não é um documento genérico, é específico para o nosso stack. Houve um workload onde a melhoria foi pequena, e a equipe foi honesta sobre isso em vez de inflar os números. Isso gera confiança.
Iniciamos com o serviço contínuo porque temos actualizações de modelo frequentes e precisávamos de acompanhamento sistemático. Os relatórios de ciclo são objetivos e o formato de revisão em sessão funciona bem para a equipe. Boa parte do valor está em ter baselines rastreados — quando algo muda, sabemos exatamente o que foi.
Nossa equipe não tem expertise aprofundada em otimização de GPU — somos bons em infraestrutura mas o detalhe do stack de serving é novo para nós. O Tune-Up foi uma boa forma de entrar sem comprometer muito tempo interno. A sessão técnica foi clara e o sumário escrito está sendo usado até hoje como referência.
Usamos o Optimization Engagement antes de uma expansão de capacidade. Queríamos entender se conseguíamos extrair mais do hardware atual antes de comprar mais GPUs. O trabalho mostrou que havia espaço considerável na configuração de batching que não estávamos usando. Isso mudou nossa decisão de compra.
O que me convenceu foi a abordagem sem exagero nas expectativas. Desde o início ficou claro que o trabalho dependia do contexto e que nem toda alavanca geraria ganho expressivo no nosso setup específico. Esse realismo é raro em serviços de consultoria técnica e tornou o engajamento muito mais produtivo.
Equipe com modelo de embedding rodando em uma única A100 para busca semântica em tempo real. Latência p95 ficava acima de 180ms em momentos de tráfego elevado — acima do limite aceitável para a experiência do produto.
Tune-Up com foco em configuração de batching e revisão do uso de memória. Identificamos que o servidor de inferência estava rodando com batching fixo de tamanho pequeno, sem adaptive ou continuous batching habilitado.
Após ativação de continuous batching e ajuste de configurações de memória, a latência p95 em pico caiu para ~95ms. A utilização média da GPU subiu de 34% para 61%, aproveitando melhor o hardware existente.
Startup com produto de IA com três modelos em produção (LLM para geração, modelo de classificação e modelo de visão para análise de documentos). A empresa queria entender o estado do stack antes de tomar decisões de escalonamento de infraestrutura.
Optimization Engagement cobrindo os três modelos. Para o LLM, revisão de KV-cache e configurações de token gerado. Para os modelos menores, análise de quantização INT8 e throughput em batch. Guia de técnicas produzido ao final.
O LLM teve melhoria marginal (contexto já bem configurado). Os modelos menores com INT8 reduziram o consumo de memória em ~38%, permitindo que mais instâncias rodassem no mesmo hardware — impactando positivamente a decisão de escala.
Empresa com pipeline de atendimento automatizado rodando LLM em produção. Atualizações de modelo ocorrem a cada 3 a 5 semanas. Sem monitoramento estruturado, variações de latência após cada release passavam despercebidas por dias.
Continuous Optimization Service com ciclos de revisão quinzenais. Baselines estabelecidos na versão corrente do modelo. A cada release, medição comparativa e relatório de variação. Dois ajustes de configuração realizados no período de acompanhamento.
Em um dos releases, identificamos degradação de 22% no throughput em comparação com a versão anterior. A causa foi relacionada a mudança no tamanho de contexto padrão. Ajuste feito em menos de 48h após a detecção — sem que afetasse o SLA do produto.
Workloads avaliados
Equipes atendidas
Avaliação média (5,0)
Com documentação escrita
Entre em contato e avaliamos juntos se existe encaixe. Sem compromisso antes do alinhamento de escopo.
Solicitar avaliação