Permitindo que o Armazenamento de Dados Evolua Junto com a Revolução da IA
Crédito: iStock
A inteligência artificial está remodelando a forma como as empresas gerenciam e acessam seus dados. Ao contrário do armazenamento tradicional, criado para tarefas simples, a IA moderna exige milhões de agentes para acessar e processar dados massivos simultaneamente. Sistemas mais antigos possuem camadas complexas que atrasam a IA, forçando os dados a passar por vários estágios antes de chegarem às GPUs.
Para atender às demandas da IA, a Cloudian — fundada por Michael Tso (1993), SM (1993) e Hiroshi Ohta — desenvolveu uma solução de armazenamento escalável. Seu sistema unifica o armazenamento e o processamento com computação paralela, otimizando o fluxo de dados para modelos de IA. Esse design permite transferências de dados rápidas e diretas entre armazenamento, GPUs e CPUs, reduzindo atrasos e a complexidade.
Ao unir armazenamento e computação, a Cloudian permite o desenvolvimento escalável de IA e acompanha o rápido crescimento da IA.
“As pessoas frequentemente ignoram que a IA é fundamentalmente sobre dados”, explica Tso. Um pequeno aumento nos dados não gerará grandes ganhos de desempenho — você precisa de dados mil vezes maiores. A chave é gerenciar os dados com eficiência e incorporar a computação no armazenamento para processá-los durante a ingestão sem movê-los. Essa é a direção que a indústria está tomando.
Transição do MIT para o Mercado
Como aluno de graduação do MIT na década de 1990, Tso aprendeu computação paralela com o professor William Dally. Ele também colaborou em pesquisas relacionadas com o professor associado Greg Papadopoulos.
“Foi um período emocionante”, lembra Tso. “A maioria das universidades tinha um projeto de supercomputação; o MIT tinha quatro.”
Como aluno de pós-graduação, Tso trabalhou com David Clark, um pioneiro da internet que ajudou a desenvolver o TCP para transferência confiável de dados.
“Como aluno de pós-graduação, concentrei-me em redes para sistemas distribuídos de larga escala que frequentemente ficavam desconectados ou instáveis”, explica Tso. “É engraçado — três décadas depois, ainda estou trabalhando nos mesmos problemas.”
Das Mensagens Móveis à Inovação em Nuvem: A Jornada de Tso pelos Inícios da Era da Internet
Após a graduação, Tso ingressou no Laboratório de Arquitetura da Intel e desenvolveu algoritmos de sincronização de dados que mais tarde seriam usados pelo BlackBerry. Ele também criou padrões técnicos para a Nokia que ajudaram a lançar a indústria de download de toques. Posteriormente, ingressou na Inktomi, uma startup cofundada por Eric Brewer, líder em buscas e distribuição de conteúdo web.
Em 2001, Tso cofundou a Gemini Mobile Technologies com Joseph Norton (1993), SM (1993) e outros. A empresa construiu alguns dos maiores sistemas de mensagens móveis do mundo para suportar o crescimento explosivo dos dados de celulares com câmera. Com o surgimento da computação em nuvem no final dos anos 2000, oferecendo servidores virtuais escaláveis, Tso observou que o volume de dados estava aumentando muito mais rápido do que a velocidade da rede — o que o levou a conduzir a empresa em uma nova direção.
“Os dados agora estão sendo gerados em muitos locais diferentes e tendem a permanecer onde estão — movê-los custa tempo e dinheiro”, explica Tso. “É por isso que o futuro reside em um modelo de nuvem distribuída que se estende a dispositivos e servidores de ponta. Em vez de transferir dados para a nuvem, precisamos levar os recursos da nuvem para onde os dados residem.”
Em 2012, Tso lançou oficialmente a Cloudian a partir da fundação da Gemini Mobile Technologies, mudando o foco para fornecer soluções de armazenamento escaláveis e distribuídas, compatíveis com a infraestrutura de nuvem.
“Quando fundamos a empresa, não imaginávamos que a IA se tornaria o principal impulsionador do armazenamento de dados na borda”, afirma.
Embora a pesquisa de Tso no MIT remonte a mais de 20 anos, ele vê uma ligação direta entre esse trabalho inicial e os desenvolvimentos atuais na indústria de tecnologia.
Lições do MIT ressurgem nos desafios atuais da IA e da computação na borda
“Parece que toda a minha carreira está fechando um ciclo”, afirma. “David Clark e eu estávamos focados em gerenciar redes com conexões intermitentes — que é exatamente o que a computação na borda envolve hoje. O Professor Dally estava desenvolvendo interconexões escaláveis e de alta velocidade, e agora ele é o cientista-chefe da NVIDIA, onde sua influência é evidente nos projetos de chips e na comunicação entre chips. Com o Professor Papadopoulos, trabalhei na aceleração de softwares de aplicativos usando hardware de computação paralela sem a necessidade de reescrever o código — o mesmo desafio que enfrentamos com a NVIDIA agora. É impressionante como tudo o que estudei no MIT está ressurgindo no cenário tecnológico atual.”
A plataforma da Cloudian agora opera usando uma arquitetura de armazenamento de objetos, onde vários tipos de dados — como documentos, vídeos e saídas de sensores — são armazenados como objetos individuais, juntamente com os metadados associados. Essa estrutura de arquivo simples permite o gerenciamento eficiente de grandes quantidades de dados não estruturados, tornando-a adequada para aplicações de IA. No entanto, o armazenamento de objetos tradicional tem uma limitação: normalmente, exige que os dados sejam copiados para a memória do computador antes de poderem ser processados por modelos de IA, o que gera atrasos e maior consumo de energia.
Cloudian integra banco de dados vetorial e firma parceria com a NVIDIA
Em julho, a Cloudian introduziu uma grande atualização ao integrar um banco de dados vetorial à sua plataforma de armazenamento de objetos. Essa melhoria permite que os dados sejam armazenados em um formato vetorial que os modelos de IA podem usar imediatamente. À medida que os dados são ingeridos, o sistema da Cloudian calcula automaticamente sua representação vetorial em tempo real, habilitando funções avançadas de IA, como mecanismos de recomendação, busca inteligente e assistentes virtuais. A Cloudian também anunciou uma colaboração com a NVIDIA, permitindo que seu sistema de armazenamento interaja diretamente com as GPUs da NVIDIA. Essa integração acelera o processamento de IA e ajuda a reduzir os custos com computação.
“Há um ano e meio, a NVIDIA nos contatou porque as GPUs precisam de um fluxo constante de dados”, diz Tso. “As pessoas estão percebendo que é mais eficiente trazer IA para os dados do que mover grandes conjuntos de dados.” Nosso armazenamento agora possui IA incorporada para lidar com o pré e o pós-processamento na fonte de dados.
Armazenamento Projetado para IA
A Cloudian oferece suporte a cerca de 1.000 organizações em todo o mundo — incluindo grandes fabricantes, instituições financeiras, provedores de saúde e órgãos governamentais — na extração de maior valor de seus dados.
Por exemplo, uma grande empresa automotiva utiliza a plataforma de armazenamento da Cloudian em conjunto com IA para prever as necessidades de manutenção de seus robôs de fabricação. A Cloudian também tem parceria com a Biblioteca Nacional de Medicina para armazenar artigos de pesquisa e patentes, e com o Banco de Dados Nacional do Câncer para gerenciar sequências de DNA de tumores — conjuntos de dados grandes e complexos que a IA pode analisar para descobrir novos insights ou ajudar a desenvolver tratamentos.
“As GPUs mudaram o jogo”, afirma Tso. “Enquanto a Lei de Moore prevê uma duplicação do poder de computação a cada dois anos, as GPUs aceleram o progresso ao permitir o processamento paralelo em vários chips. Essa escalabilidade está impulsionando os recursos de IA muito além das expectativas. Mas, para aproveitar ao máximo as GPUs, é necessário fornecer dados o mais rápido que elas podem processá-los — e isso significa eliminar as camadas tradicionais entre armazenamento e computação.”
