Google TurboQuant, um modelo de 397 bilhões de parâmetros no notebook e busca em vídeos

A última semana de março foi de eficiência: comprimir modelos, rodar modelos gigantes em hardware comum e buscar em vídeos com a mesma facilidade do texto.

TurboQuant comprime a memória da IA pelo menos seis vezes sem perder precisão

O Google Research apresentou o TurboQuant, algoritmos de compressão que reduzem a memória de trabalho dos modelos de linguagem a cerca de 3 bits por valor, sem retreinamento e, segundo os autores, sem perda de precisão. Nos testes, ele reduziu essa memória pelo menos seis vezes e acelerou parte do cálculo em até 8 vezes numa GPU H100. Ele também melhora a busca vetorial.

Como aplicar na sua empresa

Menos memória por conversa significa atender mais usuários com o mesmo hardware, reduzindo o custo da IA em produção.

Fale com um especialista

Fontes

• Google Research: TurboQuant: Redefining AI efficiency with extreme compression

Modelo de 397 bilhões de parâmetros roda num notebook

O projeto de código aberto Flash-MoE roda o Qwen3.5-397B, modelo de 397 bilhões de parâmetros, num MacBook Pro com 48 GB de memória a mais de 4 tokens por segundo, com chamadas de ferramentas. O modelo, de 209 GB, é lido direto do SSD por um motor escrito em C e Metal, construído por uma pessoa e uma IA em 24 horas, segundo o autor.

Como aplicar na sua empresa

A criatividade da engenharia continua levando modelos muito grandes a hardware comum, ampliando as opções de IA local e privada.

Fale com um especialista

Fontes

• Flash-MoE: Flash-MoE: Running a big model on a small laptop

SentrySearch encontra trechos em vídeos pela descrição

O SentrySearch, projeto de código aberto, faz busca semântica em gravações de vídeo: você digita o que procura e recebe o trecho já recortado. Ele usa as representações nativas de vídeo do Gemini ou, para rodar localmente, o modelo Qwen3-VL.

Como aplicar na sua empresa

Buscar em horas de vídeo pela descrição é útil para segurança, operações, controle de qualidade e acervos de mídia, tarefas que antes exigiam alguém assistindo a tudo.

Fale com um especialista

Fontes

• SentrySearch: Semantic search over videos using Gemini Embedding 2 or Qwen3-VL

Curadoria da Versagil, com apoio de IA.