Descentralização do armazenamento: da idealização ao realismo

O armazenamento foi uma das narrativas mais populares na indústria de blockchain. Filecoin, como o principal projeto da última alta do mercado, teve um valor de mercado que ultrapassou os 10 bilhões de dólares. Arweave, com o seu ponto de venda de armazenamento permanente, atingiu um valor de mercado de 3,5 bilhões de dólares. No entanto, à medida que a disponibilidade de armazenamento de dados frios é questionada, a necessidade de armazenamento permanente também se torna uma dúvida, se a Descentralização do armazenamento pode realmente se concretizar é uma questão pendente.

A aparição do Walrus trouxe um novo fôlego para o mercado de armazenamento, que estava em silêncio há muito tempo. Recentemente, o projeto Shelby, lançado em parceria entre a Aptos e a Jump Crypto, visa levar a Descentralização do armazenamento no campo de dados quentes a novos patamares. Então, será que a Descentralização do armazenamento pode ressurgir e oferecer soluções para cenários de aplicação mais amplos? Ou é apenas mais uma rodada de especulação? Este artigo analisará a evolução da narrativa de armazenamento descentralizado a partir do desenvolvimento dos quatro projetos: Filecoin, Arweave, Walrus e Shelby, e discutirá a possibilidade da popularização do armazenamento descentralizado.

Filecoin: o armazenamento é apenas uma aparência, a mineração é a essência

Filecoin é um dos primeiros projetos de criptomoedas a emergir, e sua direção de desenvolvimento gira naturalmente em torno da Descentralização. Esta é uma característica comum dos projetos criptográficos iniciais - procurar o significado da Descentralização em vários setores tradicionais. Filecoin não é exceção, pois associa armazenamento à Descentralização, apontando assim, de forma natural, as desvantagens dos serviços de armazenamento de dados centralizados: a suposição de confiança nos provedores de armazenamento centralizados. Portanto, o objetivo do Filecoin é transformar o armazenamento centralizado em armazenamento descentralizado. No entanto, certos compromissos feitos para alcançar a Descentralização tornaram-se os pontos problemáticos que projetos posteriores, como Arweave ou Walrus, tentaram resolver. Para entender por que o Filecoin é essencialmente apenas uma moeda minerada, é necessário compreender as limitações objetivas da tecnologia subjacente IPFS, que não é adequada para lidar com dados quentes.

IPFS: Descentralização arquitetura, porém limitado por gargalos de transmissão

O IPFS(, Sistema de Arquivos Interplanetário, foi lançado por volta de 2015, com o objetivo de revolucionar o protocolo HTTP tradicional através da endereçamento de conteúdo. A maior desvantagem do IPFS é a extrema lentidão na obtenção de dados. Em uma época em que os provedores de serviços de dados tradicionais podem alcançar respostas em milissegundos, obter um arquivo no IPFS ainda leva cerca de dez segundos, o que dificulta sua promoção em aplicações práticas, e explica por que, além de alguns projetos de blockchain, ele raramente é adotado por setores tradicionais.

O protocolo P2P subjacente do IPFS é principalmente adequado para "dados frios", ou seja, conteúdo estático que não muda com frequência, como vídeos, imagens e documentos. No entanto, ao lidar com dados quentes, como páginas web dinâmicas, jogos online ou aplicações de inteligência artificial, o protocolo P2P não apresenta uma vantagem significativa em comparação com as CDN tradicionais.

Embora o IPFS em si não seja uma blockchain, seu conceito de design baseado em grafos acíclicos direcionais )DAG( está altamente alinhado com muitas blockchains e protocolos Web3, tornando-o naturalmente adequado como uma estrutura de construção subjacente para blockchain. Portanto, mesmo que não tenha valor prático, como uma estrutura subjacente para a narrativa da blockchain já é suficiente, projetos iniciais de cópias apenas precisavam de uma estrutura funcional para iniciar a exploração do vasto mar. Mas quando o Filecoin se desenvolve até certo ponto, as limitações trazidas pelo IPFS começam a obstruir seu desenvolvimento posterior.

) Lógica das moedas mineradas sob o armazenamento

O design do IPFS teve como objetivo permitir que os usuários, ao armazenar dados, também pudessem fazer parte de uma rede de armazenamento. No entanto, na falta de incentivos econômicos, é difícil para os usuários utilizarem voluntariamente este sistema, quanto mais se tornarem nós de armazenamento ativos. Isso significa que a maioria dos usuários apenas armazenará arquivos no IPFS, mas não contribuirá com seu próprio espaço de armazenamento, nem armazenará arquivos de outros. É nesse contexto que o Filecoin surgiu.

No modelo econômico do token Filecoin, existem três papéis principais: os usuários são responsáveis por pagar taxas para armazenar dados; os mineradores de armazenamento recebem incentivos em tokens por armazenar os dados dos usuários; os mineradores de recuperação fornecem dados quando os usuários precisam e recebem incentivos.

Este modelo apresenta um espaço potencial para ações maliciosas. Os mineradores de armazenamento podem, após fornecer espaço de armazenamento, preencher com dados lixo para obter recompensas. Como esses dados lixo não serão recuperados, mesmo que sejam perdidos, não ativará o mecanismo de penalização dos mineradores de armazenamento. Isso permite que os mineradores de armazenamento apaguem os dados lixo e repitam este processo. O consenso de prova de replicação do Filecoin só pode garantir que os dados dos usuários não foram eliminados de forma indevida, mas não pode impedir que os mineradores preencham com dados lixo.

A operação do Filecoin depende, em grande parte, do investimento contínuo dos mineradores na economia dos tokens, em vez de se basear na demanda real dos usuários finais por armazenamento descentralizado. Embora o projeto continue a iterar, nesta fase, a construção do ecossistema do Filecoin se alinha mais com a definição de um projeto de armazenamento "baseado em mineração" do que com "impulsão por aplicações".

Arweave: Nasce do longo prazo, cai no longo prazo

Se o objetivo de design do Filecoin é construir uma "nuvem de dados" descentralizada e incentivada que possa ser provada, então o Arweave segue um extremo em outra direção no armazenamento: oferecendo a capacidade de armazenamento permanente para os dados. O Arweave não tenta construir uma plataforma de computação distribuída; todo o seu sistema se baseia em uma suposição central - dados importantes devem ser armazenados uma única vez e permanecer para sempre na rede. Esse extremo do longo prazo faz com que o Arweave, desde o mecanismo até o modelo de incentivo, passando pelas necessidades de hardware e a narrativa, seja muito diferente do Filecoin.

A Arweave usa o Bitcoin como objeto de estudo, tentando otimizar continuamente sua rede de armazenamento permanente ao longo de longos períodos contados em anos. A Arweave não se importa com marketing, nem com concorrentes ou as tendências do mercado. Ela simplesmente avança no caminho da iteração da arquitetura da rede, mesmo que ninguém preste atenção, pois essa é a essência da equipe de desenvolvimento da Arweave: o longo prazo. Graças ao longo prazo, a Arweave foi muito procurada no último mercado em alta; e também por causa do longo prazo, mesmo caindo ao fundo do poço, a Arweave ainda pode sobreviver a várias rodadas de alta e baixa. Mas será que o armazenamento descentralizado do futuro terá um lugar para a Arweave? O valor da existência do armazenamento permanente só pode ser provado pelo tempo.

A mainnet do Arweave, desde a versão 1.5 até à mais recente versão 2.9, apesar de já ter perdido o ímpeto nas discussões de mercado, tem estado empenhada em permitir que um maior número de mineradores participe na rede com o menor custo possível, e em incentivar os mineradores a armazenar dados ao máximo, melhorando continuamente a robustez de toda a rede. O Arweave tem plena consciência de que não se alinha com as preferências do mercado, por isso adotou uma abordagem conservadora, não abraçando a comunidade de mineradores, e o ecossistema está completamente estagnado, atualizando a mainnet com o menor custo possível, enquanto continua a reduzir a barreira de entrada em termos de hardware, sem comprometer a segurança da rede.

Revisão do caminho de atualização de 1.5-2.9

A versão 1.5 do Arweave expôs uma vulnerabilidade onde os mineradores podiam confiar na empilhagem de GPUs em vez de armazenamento real para otimizar a probabilidade de criação de blocos. Para conter essa tendência, a versão 1.7 introduziu o algoritmo RandomX, limitando o uso de poder computacional especializado e exigindo a participação de CPUs genéricas na mineração, enfraquecendo assim a centralização do poder computacional.

Na versão 2.0, Arweave adota SPoA, transformando a prova de dados em um caminho simplificado da estrutura da árvore de Merkle, e introduz a transação de formato 2 para reduzir a carga de sincronização. Esta arquitetura alivia a pressão sobre a largura de banda da rede, melhorando significativamente a capacidade de colaboração dos nós. No entanto, alguns mineradores ainda podem contornar a responsabilidade real de posse de dados através de uma estratégia de pool de armazenamento centralizado de alta velocidade.

Para corrigir essa tendência, a versão 2.4 introduziu o mecanismo SPoRA, que traz um índice global e acesso aleatório lento a hashes, fazendo com que os mineradores precisem realmente possuir blocos de dados para participar da mineração válida, enfraquecendo assim o efeito de empilhamento de poder computacional. O resultado é que os mineradores começaram a se concentrar na velocidade de acesso ao armazenamento, impulsionando a aplicação de SSDs e dispositivos de leitura/escrita de alta velocidade. A versão 2.6 introduziu uma cadeia de hashes para controlar o ritmo de mineração, equilibrando os benefícios marginais de dispositivos de alto desempenho, oferecendo um espaço de participação justa para mineradores pequenos e médios.

As versões subsequentes reforçam ainda mais a capacidade de colaboração em rede e a diversidade de armazenamento: a 2.7 adiciona mineração colaborativa e mecanismos de pool, aumentando a competitividade dos pequenos mineradores; a 2.8 introduz um mecanismo de empacotamento composto, permitindo que dispositivos de baixa velocidade e alta capacidade participem de forma flexível; a 2.9 apresenta um novo fluxo de empacotamento no formato replica_2_9, aumentando significativamente a eficiência e reduzindo a dependência computacional, completando o ciclo do modelo de mineração orientado a dados.

De uma forma geral, o caminho de atualização do Arweave apresenta claramente sua estratégia de longo prazo orientada para o armazenamento: enquanto resiste continuamente à tendência de concentração de poder computacional, continua a reduzir as barreiras de participação, garantindo a possibilidade de operação a longo prazo do protocolo.

Walrus: Abraçando dados quentes é apenas uma moda ou há algo mais profundo?

Walrus, do ponto de vista do design, é completamente diferente do Filecoin e do Arweave. O ponto de partida do Filecoin é criar um sistema de armazenamento descentralizado e verificável, com o custo de armazenamento de dados frios; o ponto de partida do Arweave é criar uma biblioteca de Alexandria em cadeia que possa armazenar dados permanentemente, com o custo de ter poucos cenários; o ponto de partida do Walrus é otimizar o custo de armazenamento do protocolo de armazenamento de dados quentes.

Modificação mágica da correção de erros: inovação de custos ou uma nova garrafa para um velho vinho?

Em relação ao design de custos de armazenamento, a Walrus considera que os custos de armazenamento do Filecoin e do Arweave são irracionais. Ambos adotam uma arquitetura de replicação completa, cuja principal vantagem é que cada nó mantém uma cópia completa, oferecendo forte capacidade de tolerância a falhas e independência entre os nós. Esse tipo de arquitetura garante que, mesmo que alguns nós fiquem offline, a rede ainda possua disponibilidade de dados. No entanto, isso também significa que o sistema requer redundância de múltiplas cópias para manter a robustez, aumentando assim os custos de armazenamento. Especialmente no design do Arweave, o mecanismo de consenso incentiva a redundância de armazenamento dos nós para aumentar a segurança dos dados. Em comparação, o Filecoin tem mais flexibilidade no controle de custos, mas isso tem o custo de que parte do armazenamento de baixo custo pode apresentar um risco maior de perda de dados. A Walrus tenta encontrar um equilíbrio entre os dois, com seu mecanismo controlando os custos de replicação enquanto aumenta a disponibilidade por meio de uma abordagem de redundância estruturada, estabelecendo assim um novo caminho de compromisso entre a disponibilidade de dados e a eficiência de custos.

A Redstuff, criado pelo Walrus, é a tecnologia chave para reduzir a redundância dos nós, originando do código Reed-Solomon###RS(. O código RS é um algoritmo de código de correção de erros muito tradicional, onde o código de correção de erros é uma técnica que permite duplicar um conjunto de dados através da adição de fragmentos redundantes)erasure code(, podendo ser utilizado para reconstruir os dados originais. Desde CD-ROM até comunicações via satélite e códigos QR, ele é frequentemente utilizado no dia a dia.

Os códigos de correção de erros permitem que os usuários obtenham um bloco, por exemplo, de 1MB, e depois "ampliem" para 2MB, onde o adicional de 1MB é chamado de dados especiais de correção de erros. Se qualquer byte do bloco se perder, o usuário pode facilmente recuperar esses bytes através do código. Mesmo que até 1MB do bloco se perca, você ainda pode recuperar o bloco inteiro. A mesma técnica permite que os computadores leiam todos os dados em um CD-ROM, mesmo que esteja danificado.

Atualmente, o mais utilizado é o código RS. A forma de implementação é a seguinte: a partir de k blocos de informação, constrói-se um polinómio relacionado e avalia-se em diferentes coordenadas x para obter os blocos codificados. Usando códigos de correção de erros RS, a probabilidade de amostragem aleatória de grandes blocos de dados perdidos é muito pequena.

Exemplo: dividir um arquivo em 6 blocos de dados e 4 blocos de verificação, totalizando 10 partes. Desde que se mantenham quaisquer 6 partes, é possível recuperar completamente os dados originais.

Vantagens: forte capacidade de tolerância a falhas, amplamente utilizado em CD/DVD, arrays de discos rígidos à prova de falhas )RAID(, bem como em sistemas de armazenamento em nuvem ) como Azure Storage, Facebook F4(.

Desvantagens: a decodificação é complexa e os custos são elevados; não é adequado para cenários de dados que mudam frequentemente. Portanto, geralmente é utilizado para recuperação e agendamento de dados em ambientes centralizados fora da cadeia.

Sob uma arquitetura de Descentralização, Storj e Sia ajustaram a codificação RS tradicional para atender às necessidades práticas de redes distribuídas. Walrus também propôs sua própria variante - o algoritmo de codificação RedStuff, para alcançar um mecanismo de armazenamento redundante mais flexível e a um custo mais baixo.

Qual é a principal característica do Redstuff? Através da melhoria do algoritmo de codificação de correção de erros, o Walrus consegue codificar rapidamente e de forma robusta blocos de dados não estruturados em fragmentos menores, que são armazenados de forma distribuída em uma rede de nodos de armazenamento. Mesmo que até dois terços dos fragmentos sejam perdidos, é possível reconstruir rapidamente os blocos de dados originais usando fragmentos parciais. Isso permite manter a复