Modelos de decisão, IA privada no Firefox e um modelo pequeno que acelera bancos de dados

A metade de setembro mostrou a IA ficando mais prática: modelos que decidem em vez de escrever, assistentes com privacidade de fábrica e modelos pequenos treinados para uma tarefa.

Jev: um modelo que decide em vez de escrever

A TypeSafe AI, fundada por um pesquisador que trabalhou nos métodos por trás do ChatGPT, lançou o Jev, o primeiro de uma nova classe que a empresa chama de modelos de decisão. Em vez de gerar texto, o Jev devolve respostas estruturadas, definidas com antecedência, cada uma com a sua probabilidade. Segundo a empresa, ele responde entre 70 e 500 milissegundos, dezenas de vezes mais rápido que modelos de linguagem, e não produz respostas fora das opções previstas.

Como aplicar na sua empresa

Boa parte da automação nas empresas é decidir: classificar um chamado, aprovar um documento, escolher a área responsável. Modelos que dão a resposta com um nível de confiança permitem automatizar os casos claros e mandar só os duvidosos para uma pessoa.

Fale com um especialista

Fontes

• TypeSafe AI: Introducing System One Models & Jev

Mistral e Mozilla levam IA privada e multilíngue ao Firefox

A Mistral e a Mozilla anunciaram uma parceria: o Firefox Smart Window, assistente de IA do navegador (em versão beta), passa a usar modelos da Mistral. O assistente ajuda a entender buscas complexas e a encontrar informações nas abas abertas. Por padrão, as conversas não ficam salvas nos servidores da Mozilla, e a Mistral se comprometeu a não reter dados. Os modelos são ajustados a idiomas e sotaques regionais, começando pela França e pela América do Norte.

Como aplicar na sua empresa

Assistentes de IA estão entrando na navegação do dia a dia com privacidade de fábrica. Para as empresas, é mais um sinal de que IA útil e proteção de dados andam juntas, e esse é o padrão que os clientes vão esperar.

Fale com um especialista

Fontes

• Mistral: Mistral and Mozilla are bringing open, private and multilingual AI to your web browser

Modelo pequeno e treinado acelera consultas em banco de dados

Um desenvolvedor treinou um modelo aberto pequeno, de 4 bilhões de parâmetros, para escolher como o banco de dados Postgres executa consultas complexas. Com aprendizado por reforço, em que o modelo é recompensado sempre que seu plano roda mais rápido que o padrão do banco, ele reduziu em 44,7% o tempo de 113 consultas com muitas junções de tabelas. Parte do treino rodou em quatro bancos de dados na mesa dele.

Como aplicar na sua empresa

Modelos pequenos treinados para uma tarefa específica podem superar soluções genéricas e rodar com custo baixo. Quando um processo tem um resultado fácil de medir, como tempo, custo ou acerto, ele é um bom candidato a esse tipo de IA sob medida.

Fale com um especialista

Fontes

• Rohan Bansal: Training a 4B model to produce 81% faster query plans than Postgres

Curadoria da Versagil, com apoio de IA.