Nesta edição, destacamos o avanço do projeto llama-modchip, que permite rodar modelos de linguagem gigantescos em CPUs comuns, e a proposta de padronização da memória de agentes de IA.
Execução de grandes modelos de IA em CPUs convencionais sem uso de GPU
Segundo o repositório publicado no GitHub, o projeto aberto llama-modchip desenvolveu otimizações de kernel e esquemas de quantização que permitem executar modelos esparsos Mixture-of-Experts em processadores comuns. O sistema viabiliza rodar o modelo DeepSeek-V4-Flash de 284 bilhões de parâmetros e o Nemotron de 30 bilhões de parâmetros diretamente na memória RAM de 16 a 64 GB, sem necessidade de processadores gráficos dedicados. O projeto alcançou taxas de inferência de até 44,4 tokens por segundo no preenchimento de contexto e restauração do histórico de conversas em menos de 19 milissegundos.
Como aplicar na sua empresa
Isso permite que empresas executem modelos de linguagem avançados e assistentes internos em servidores ou computadores corporativos já existentes. A redução da dependência de GPUs diminui custos operacionais e simplifica a infraestrutura necessária para IA local.
Fale com um especialistaProposta de padrão aberto para interoperabilidade de memória de agentes de IA
Segundo o blog da LoreKit, o desenvolvedor Mads Thines propôs a criação de uma especificação aberta para uniformizar o formato de memória utilizado por agentes de inteligência artificial, comparando a iniciativa ao surgimento do OpenTelemetry na área de observabilidade. Atualmente, ferramentas de codificação e assistentes armazenam conhecimentos, regras e arquivos de memória em formatos proprietários e incompatíveis entre si. O artigo descreve um modelo de dados compartilhado que inclui dados de escopo, controle de versão, histórico de correções e regras de ciclo de vida para permitir a troca direta de contexto entre diferentes sistemas.
Como aplicar na sua empresa
A adoção de um formato padronizado evita o bloqueio de fornecedores e facilita o compartilhamento de contexto entre múltiplos assistentes e fluxos de trabalho na empresa. Com isso, organizações podem integrar novas ferramentas de IA à sua operação sem perder o histórico acumulado ou reconstruir integrações.
Fale com um especialistaFontes
Curadoria da Versagil, com apoio de IA.
Da leitura à prática
As notícias mostram o que está mudando. Estes são os caminhos para levar o assunto à operação da sua empresa.
Ver todas as soluçõesQuer saber onde a IA ajuda na sua empresa?
Em cerca de 2 minutos, o diagnóstico gratuito mostra o estágio da sua empresa e o próximo passo.