Como a plataforma de dados de Weka acelera as cargas de trabalho de IA e HPC em escala corporativa

Os dados são um campo de jogo em movimento rápido, e a expansão dos dados precisa exigir reviravoltas rápidas de inovação em computação, networking e análise. A Wekaio Inc., com sua plataforma de dados acelerada projetada para inteligência artificial e cargas de trabalho de computação de alto desempenho, oferece um ambiente que elimina as trocas tradicionais no desempenho do armazenamento.

“Construímos Weka para criar um ambiente, um sistema de arquivos no centro que não tem compromissos”, disse Shimon Ben-David (foto), diretor de tecnologia da Wekaio. “Olhando para trás, vimos que havia vários ambientes de armazenamento, [and] Foi um jogo de compromissos. Eu quero um alto volume de arquivos? Eu quero uma grande quantidade de arquivos pequenos no trabalho latência? Criamos o Weka para atender as novas cargas de trabalho da IA ​​de uma maneira muito eficiente para garantir que você possa obter o máximo de utilização de sua computação de alto desempenho [graphics processing unit] ambientes. ”

Ben-David conversou com o thecube Rob Strechay para o Inovação tecnológica Prêmios em cubos da série de entrevistas 2025Assim, Durante uma transmissão exclusiva no TheCube, o estúdio de transmissão ao vivo da Siliconangle Media. Eles discutiram como Weka é Repensando o desempenho do armazenamento desde o início para criar uma solução mais rápida, mais eficiente e à prova de futuro.

Remodelando o desempenho do armazenamento para IA e nuvem à prova de futuro

Em reconhecimento aos seus esforços no armazenamento de dados, especificamente para a IA, a Weka recebeu um prêmio em cubos por “plataforma de dados mais inovadora”. Em seu núcleo, há um sistema de arquivos compartilhado e distribuído que funciona como uma extensão da memória da GPU local. Isso permite que os ambientes de computação de IA e de alto desempenho maximizem seu poder de computação sem gargalos, aumentando a eficiência e a velocidade nas cargas de trabalho baseadas em GPU. Ao eliminar a necessidade de mover dados manualmente entre diferentes ambientes de armazenamento, a plataforma garante acesso suave e de alta velocidade a conjuntos de dados maciços, de acordo com Ben-David.

“Vemos clientes copiando dados para os servidores GPU local [Non-Volatile Memory Express] e trabalhando com isso ”, ele disse. “Imagine Weka é o NVME local, apenas mais rápido e distribuído e compartilhado em todos os seus ambientes de GPU. Então agora todos os seus servidores de GPU estão trabalhando com um ambiente Weka compartilhado, distribuído e protegido que é mais rápido que o NVME local. ”

Uma das principais inovações de Weka é a IA inferência, onde melhora drasticamente a eficiência das implantações de IA em larga escala. A IA infernal exige imensa poder de computação e largura de banda de memória. A Weka enfrentou esse desafio desenvolvendo um sistema de cache de valor-chave distribuído, alavancando sua plataforma de baixa latência e alto desempenho como uma extensão da memória da GPU, de acordo com Ben-David.

“O inferno é um desafio limitado pela memória, e as GPUs são limitadas na quantidade de memória e … no número de tokens por segundo que podem criar e o valor que eles podem fornecer”, disse ele. “O que fizemos é [that] Nossa hipótese foi de usar o Weka como uma extensão da memória da GPU como o próximo estágio, o próximo nível da memória da GPU-algo que imaginamos que poderíamos fazer por causa da baixa latência e recursos de ambiente de alto desempenho. ”

Aqui está a entrevista completa em vídeo, parte da cobertura de Siliconangle e TheCube Research para o Inovação tecnológica Prêmios em cubos da série de entrevistas 2025:

https://www.youtube.com/watch?v=yxeuv-nysem

Foto: Siliconangle