Todos os posts

DeepSeek-V4 em 64GB de RAM sem GPU e padrão de memória para agentes

Compartilhe este post

Nesta edição, destacamos o avanço do projeto llama-modchip, que permite rodar modelos de linguagem gigantescos em CPUs comuns, e a proposta de padronização da memória de agentes de IA.

Execução de grandes modelos de IA em CPUs convencionais sem uso de GPU

Segundo o repositório publicado no GitHub, o projeto aberto llama-modchip desenvolveu otimizações de kernel e esquemas de quantização que permitem executar modelos esparsos Mixture-of-Experts em processadores comuns. O sistema viabiliza rodar o modelo DeepSeek-V4-Flash de 284 bilhões de parâmetros e o Nemotron de 30 bilhões de parâmetros diretamente na memória RAM de 16 a 64 GB, sem necessidade de processadores gráficos dedicados. O projeto alcançou taxas de inferência de até 44,4 tokens por segundo no preenchimento de contexto e restauração do histórico de conversas em menos de 19 milissegundos.

Como aplicar na sua empresa

Isso permite que empresas executem modelos de linguagem avançados e assistentes internos em servidores ou computadores corporativos já existentes. A redução da dependência de GPUs diminui custos operacionais e simplifica a infraestrutura necessária para IA local.

Fale com um especialista

Proposta de padrão aberto para interoperabilidade de memória de agentes de IA

Segundo o blog da LoreKit, o desenvolvedor Mads Thines propôs a criação de uma especificação aberta para uniformizar o formato de memória utilizado por agentes de inteligência artificial, comparando a iniciativa ao surgimento do OpenTelemetry na área de observabilidade. Atualmente, ferramentas de codificação e assistentes armazenam conhecimentos, regras e arquivos de memória em formatos proprietários e incompatíveis entre si. O artigo descreve um modelo de dados compartilhado que inclui dados de escopo, controle de versão, histórico de correções e regras de ciclo de vida para permitir a troca direta de contexto entre diferentes sistemas.

Como aplicar na sua empresa

A adoção de um formato padronizado evita o bloqueio de fornecedores e facilita o compartilhamento de contexto entre múltiplos assistentes e fluxos de trabalho na empresa. Com isso, organizações podem integrar novas ferramentas de IA à sua operação sem perder o histórico acumulado ou reconstruir integrações.

Fale com um especialista

Compartilhe este post

Curadoria da Versagil, com apoio de IA.

Da leitura à prática

As notícias mostram o que está mudando. Estes são os caminhos para levar o assunto à operação da sua empresa.

Ver todas as soluções

Quer saber onde a IA ajuda na sua empresa?

Em cerca de 2 minutos, o diagnóstico gratuito mostra o estágio da sua empresa e o próximo passo.