Google lança três novas opções de armazenamento em nuvem: Cloud Storage FUSE, Parallelstore, NetApp Volumes

InfoQ Homepage News Google lança três novas opções de armazenamento em nuvem: Cloud Storage FUSE, Parallelstore, NetApp Volumes

29 de agosto de 2023 2 minutos de leitura

por

Steef-Jan Wiggers

O Google lançou recentemente três novas opções de armazenamento em nuvem: Cloud Storage FUSE para aplicativos de Inteligência Artificial (IA) que exigem semântica de sistema de arquivos, um sistema de arquivos paralelo Parallelstore para aplicativos exigentes de IA e HPC que usam GPUs e NetApp Volumes para aplicativos corporativos executados na nuvem .

O Cloud Storage FUSE já estava disponível como uma versão de código aberto, permitindo que objetos em buckets do Cloud Storage fossem acessados como arquivos montados como um sistema de arquivos local. A empresa o aprimorou com novos níveis de portabilidade, confiabilidade, desempenho e integração visando cargas de trabalho de IA. Em uma postagem no blog do Google, os autores Marco Abela, gerente de produto, e Akshay Ram, gerente sênior de produto do Google, explicam:

O novo Cloud Storage FUSE é particularmente importante para cargas de trabalho de IA. Como os aplicativos podem acessar os dados diretamente (em vez de baixá-los localmente), não há lógica personalizada para implementar e há menos tempo ocioso para recursos valiosos como TPUs e GPUs enquanto os dados são copiados. Além disso, um novo driver Cloud Storage FUSE CSI para Google Kubernetes Engine (GKE) permite que os aplicativos montem o Cloud Storage usando a API Kubernetes familiar e é oferecido como uma implantação pronta para uso gerenciada pelo GKE.

Visão geral do Cloud Storage FUSE (Fonte: postagem no blog do Google)

JW Davis, evangelista da nuvem, comentou sobre a disponibilidade dos sistemas de arquivos FUSE no GKE em um tweet:

Isto parece destinado a muitos desastres. Útil para uma gama muito restrita de casos de uso; a maioria irá usá-lo indevidamente e sofrerá.

Além do Cloud Storage FUSE para aplicativos de IA, a empresa anuncia uma prévia privada de um sistema de arquivos paralelo chamado Parallelstore que ajuda os usuários a não desperdiçarem recursos preciosos da GPU enquanto, ao mesmo tempo, aguardam pela E/S de armazenamento, fornecendo um alto desempenho. solução de armazenamento paralelo de arquivos para cargas de trabalho de IA/ML e HPC. A solução é baseada na arquitetura Intel Distributed Asynchronous Object Storage (DAOS) de próxima geração.

Sameet Agarwal, VP/GM, Storage, e Sean Derrington, gerente de produto do grupo, Storage, explicam em uma postagem no blog do Google sobre as novas opções de armazenamento em nuvem:

Com base na arquitetura Intel DAOS de próxima geração, todos os nós de computação em um ambiente Parallelstore têm igual acesso ao armazenamento, para que as VMs possam obter acesso imediato aos seus dados. Com desempenho de taxa de transferência de leitura de até 6,3x em comparação com as ofertas concorrentes do Lustre Scratch, o Parallelstore é adequado para aplicativos baseados em nuvem que exigem desempenho extremamente alto (IOPS e taxa de transferência) e latência ultrabaixa.

Por fim, a terceira nova opção de armazenamento em nuvem é o NetApp Volumes, um serviço de armazenamento de arquivos de alto desempenho totalmente gerenciado pelo Google. Essa opção de armazenamento foi projetada para empresas que desejam migrar seus aplicativos dos storage arrays locais da NetApp para a nuvem. O serviço oferece a capacidade de aumentar volumes de 100GiB para 100TiB para máxima escalabilidade, implementar gerenciamento de dados ONTAP para cargas de trabalho híbridas e executar aplicativos Windows ou Linux como máquinas virtuais sem refatoração.

Quando questionado pelo InfoQ sobre o que está impulsionando esse investimento do Google, aqui está o que Derrington tinha a dizer:

À medida que a IA se tornou fundamental na automatização do gerenciamento de dados, as organizações estão recorrendo à nuvem para fornecer a solução de armazenamento certa para a aplicação certa. Com as novas ofertas de armazenamento otimizado para IA do Google Cloud, Cloud Storage FUSE e Parallelstore, estamos ajudando os clientes a se adaptarem a cargas de trabalho complexas de IA, oferecendo soluções de armazenamento personalizadas que simplificam operações, promovem inovação, reduzem custos e muito mais.