Ai21 estreia Maestro AI Planejamento e Orquestração Sistema

Ai21 Labs Ltd. hoje introduzido O Maestro, um sistema de software que promete aumentar significativamente a qualidade de saída de grandes modelos de linguagem.

O AI21, com sede em Israel, é uma startup de inteligência artificial, apoiada em US $ 336 milhões em financiamento da Nvidia Corp., Google LLC e outros investidores. Ele fornece uma série de LLMs focados em empresas chamados Jamba. Os modelos podem processar solicitações com até 256.000 tokens e suporte a RAG, uma técnica de aprendizado de máquina que permite que uma IA analise as informações não incluídas em seu conjunto de dados de treinamento.

Antes de as empresas implantarem um LLM na produção, elas tomam medidas para reduzir o risco de problemas de qualidade da produção. O processo geralmente envolve a criação de um fluxo de trabalho de software que verifica automaticamente respostas imediatas quanto a erros. Tais fluxos de trabalho podem reduzir significativamente o risco de alucinações, mas são difíceis de criar e manter.

A plataforma Maestro recém -estreita da AI21 foi projetada para abordar o desafio. A plataforma, descrita como um sistema de planejamento e orquestração de IA, reduz a quantidade de trabalho envolvido na mitigação de erros de saída LLM. Também promete aliviar várias tarefas relacionadas.

Para usar o Maestro, os trabalhadores precisam fornecer um prompt, juntamente com um conjunto de requisitos que devem ser atendidos enquanto o prompt estiver sendo processado. Por exemplo, um usuário pode especificar que o custo da geração de uma resposta LLM não deve exceder um determinado limite. A AI21 diz que o Maestro aplica automaticamente esses requisitos fornecidos pelo cliente e, assim, reduz a necessidade de codificação manual.

Quando recebe um prompt complexo, o Maestro divide a tarefa em substaus. Simplificar tarefas dessa maneira tem sido mostrado para melhorar a qualidade das respostas do LLM. Depois de concluir o processo, o Maestro executa simulações para identificar a maneira mais eficiente de inserir a solicitação em um LLM e fornecer uma resposta precisa.

A AI21 diz que a plataforma considera várias abordagens de processamento e escolhe a que tem a maior probabilidade de fornecer uma resposta correta do LLM. Se necessário, o maestro também pode escalar o tempo de inferência em tempo de inferência. Este é um método de melhorar a precisão da LLMS otimizada para o raciocínio, aumentando a quantidade de tempo e infraestrutura que gastam em uma tarefa.

Depois que uma resposta rápida é gerada, o Maestro o verifica quanto a erros. O sistema também cria um log que exibe todas as etapas do processo através do qual a resposta imediata foi gerada. Os trabalhadores podem verificar este log para validar a precisão da saída LLM.

Em uma série de testes internos, a AI21 aplicou o Maestro a vários LLMs populares. Determinou que o sistema aumenta a precisão dos modelos de IA em até 50% em alguns casos. De acordo com a AI21, isso significa LLMs otimizado para raciocínio, como O3-mini, pode responder a mais de 95% dos avisos corretamente quando estão conectados ao maestro.

A empresa prevê que os clientes apliquem o sistema a uma série de casos de uso. Ele diz que o Maestro pode melhorar os LLMs na análise de documentos complexos e na resposta a perguntas do usuário. Além disso, o sistema se presta à automação de tarefas de negócios repetitivas, como a entrada de dados.

“A adoção em massa da IA ​​pelas empresas é a chave para a próxima revolução industrial”, disse Ori Goshen, co-chefe da AI21. “O maestro da AI21 é o primeiro passo em direção a esse futuro – indo além da imprevisibilidade das soluções disponíveis para fornecer IA que é confiável em escala”.

O maestro está atualmente em acesso antecipado. A AI21 planeja disponibilizar a plataforma geralmente neste ano.

Imagem: AI21