Agentes no aparelho, a IA entendida por dentro e transcrição em segundos

A metade de outubro mostrou a IA chegando mais perto de pessoas e empresas: agentes e transcrição rodando no próprio aparelho e avanços para entender o que acontece dentro dos modelos.

Liquid AI lança modelo aberto para agentes rápidos no próprio aparelho

A Liquid AI lançou o LFM2.5-24B-A2B, modelo aberto com 24 bilhões de parâmetros, dos quais só 2 bilhões ficam ativos a cada passo, feito para agentes privados e rápidos rodando no próprio aparelho. Segundo a empresa, ele compete com modelos cerca de 50% maiores em testes de agentes e uso de ferramentas e chega a 184 tokens por segundo em um notebook com chip Apple M5 Max. Os pesos estão disponíveis no Hugging Face.

Como aplicar na sua empresa

Agentes que rodam localmente, sem enviar dados para a nuvem, estão ficando bons o bastante para tarefas reais. Para empresas com dados sensíveis ou conectividade limitada, isso abre automações que antes dependiam de serviços externos.

Fale com um especialista

Fontes

• Liquid AI: LFM2.5-24B-A2B: Built for Fast On-Device Agents

Boa notícia para entender como os modelos de IA funcionam por dentro

Um pesquisador da Goodfire publicou um estudo defendendo que as redes neurais são mais fáceis de entender do que a área acreditava. Segundo o trabalho, os neurônios que pareciam misturar conceitos sem relação eram explicados, na maior parte, por problemas comuns e corrigíveis, e hoje já é possível entender a maioria dos neurônios em modelos de até trilhões de parâmetros. O autor apresenta a conclusão como hipótese de trabalho.

Como aplicar na sua empresa

Entender o que acontece dentro de um modelo é a base para auditar e confiar na IA. Avanços nessa área facilitam explicar decisões da IA a clientes e reguladores, principalmente em setores como finanças e saúde.

Fale com um especialista

Fontes

• Goodfire: Neural Networks Are Already Clean

Uma hora de áudio transcrita em 13 segundos, em um notebook

Um projeto independente transformou o EmbeddingGemma 2, modelo aberto do Google que representa texto, imagem e áudio, em uma ferramenta de transcrição de voz. Ela transcreve uma hora de áudio em cerca de 13 segundos em um MacBook Air básico, tudo no próprio aparelho, sem o áudio sair da máquina. Só um componente pequeno foi treinado, em menos de duas horas. A taxa de erro é de cerca de 5%, contra 2% a 3% dos melhores modelos de voz, e os autores esperam reduzir essa diferença.

Como aplicar na sua empresa

Transcrição rápida e privada em um computador comum facilita transformar reuniões, ligações e atendimentos em texto pesquisável. Modelos abertos permitem montar esse tipo de solução sem custo por minuto.

Fale com um especialista

Fontes

• Embedding Gemma Transcribe: Embedding Gemma Transcribe

Curadoria da Versagil, com apoio de IA.