Mercury 3 roda a 1.068 tokens por segundo e mira latência

Modelo de diffusion para texto saiu do campo da curiosidade. O Mercury 3, da Inception, roda a 1.068 tokens por segundo em GPUs NVIDIA, de 4 a 8 vezes mais rápido que os modelos comparados, e a empresa afirma que a qualidade fica no nível do GPT-6 Luna e do Claude Haiku 5.5 em vários benchmarks.

O salto de escala é o argumento central: mais de 40 vezes o tamanho do Mercury 1, com ganho de 3x em benchmarks padrão e a mesma velocidade. O contexto subiu para 1 milhão de tokens, contra 260 mil na geração anterior.

Números e uso real

• Preço de US$ 0,20 por milhão de tokens na entrada e US$ 0,70 na saída, com 50% de desconto no lançamento e 90% off em token cacheado.
• Em 50 tarefas de navegação ao vivo do conjunto Mind2Web, rodando no harness de web agent da própria empresa, completou 50% delas, à frente do GPT-6.1-Sol com o mesmo volume de tokens e o mesmo número de passos.
• Parceiros de acesso antecipado usam o modelo em agente de navegação, tutoria em tempo real, engenharia de dados e suporte ao cliente.
• A família inclui Mercury Voice, para latência de voz, e Mercury Decide, voltado a classificação de alto volume.

Vale o ceticismo de sempre: benchmark de fornecedor mede o que o fornecedor escolheu medir. Mas o alvo aqui não é inteligência bruta, é o tempo de resposta. Em agente de navegação e classificação, onde o modelo é chamado dezenas de vezes por tarefa, velocidade deixa de ser detalhe e vira custo. É o tipo de escolha que faz diferença em arquitetura de agente que já roda em produção.

Fonte: Inception.