Autor:PermaDAO

O armazenamento descentralizado é um método de armazenamento de dados que não depende de um único ponto central de controle. Essa abordagem contrasta com o armazenamento centralizado tradicional (como serviços tradicionais de armazenamento em nuvem, como Amazon S3 ou Google Cloud), que geralmente são gerenciados por uma única empresa ou organização.

Armazenamento descentralizado convencional

Atualmente, o principal armazenamento descentralizado do mercado inclui Arweave, Filecoin e Storj. Cada um deles possui características e conceitos de design únicos:

  • Arweave se concentra no armazenamento de dados permanente ou de longo prazo.

  • Filecoin oferece um mercado descentralizado semelhante ao armazenamento em nuvem tradicional, suportando necessidades flexíveis de armazenamento.

  • Storj se concentra em serviços descentralizados de armazenamento em nuvem que fornecem segurança e proteção de privacidade.

Todas essas três plataformas usam tecnologia blockchain, mas seus cenários de aplicação, implementações técnicas e modelos de pagamento são diferentes, e cada uma é adequada para diferentes tipos de necessidades de armazenamento:

  1. Arweave

    • Objetivo: Fornecer uma solução de armazenamento de dados permanente e de longo prazo. O objetivo do Arweave é armazenar dados “para sempre” e é usado principalmente para preservação de dados a longo prazo.

    • Tecnologia: Usa uma tecnologia blockchain exclusiva chamada Blockweave. Ao contrário dos blockchains tradicionais, o Block Fabric contém referências a blocos aleatórios anteriores em cada novo bloco, projetados para incentivar a retenção de dados a longo prazo.

    • Modelo de pagamento: os usuários pagam uma taxa única pelo armazenamento de dados e, em teoria, os dados podem ser acessados ​​permanentemente após serem armazenados.

  1. Arquivocoin

    • Objetivo: Visa criar um mercado de armazenamento descentralizado, semelhante aos serviços tradicionais de armazenamento em nuvem.

    • Tecnologia: Filecoin é a camada de incentivo para IPFS (Internet File System). Ele usa “prova de armazenamento” e “prova de espaço e tempo” para garantir que os dados sejam armazenados corretamente.

    • Modelo de pagamento: os usuários pagam ao provedor de armazenamento com base na quantidade de dados armazenados e por quanto tempo. Este é um modelo de aluguel mais tradicional, onde os usuários podem aumentar ou diminuir o armazenamento conforme necessário e pagar de acordo.

  2. História

    • Objetivo: Fornecer aos usuários uma solução descentralizada de armazenamento em nuvem com foco na segurança e proteção da privacidade.

    • Tecnologia: Storj usa tecnologia de criptografia e sharding para proteger a segurança e a privacidade dos dados. Os dados são criptografados e divididos em vários pequenos pedaços no cliente antes do upload e, em seguida, distribuídos e armazenados em nós ao redor do mundo.

    • Modelo de pagamento: O modelo de pagamento do Storj é semelhante ao armazenamento em nuvem tradicional, com cobrança baseada no espaço de armazenamento e na largura de banda utilizada.

Em contraste, o Arweave é o único que enfatiza o armazenamento permanente e presta mais atenção à resistência e durabilidade à censura de dados. Filecoin e Storj usam o mercado de armazenamento e se concentram no uso da tecnologia blockchain para reconstruir o mercado de armazenamento.

Análise de arquitetura de negócios

A base teórica da Arweave para o armazenamento permanente de dados é semelhante à "Lei de Moore". De acordo com estatísticas sobre os custos de armazenamento de dados desde 1980 até ao presente, os custos de armazenamento estão a diminuir a uma taxa de 20% todos os anos. De acordo com esta lei estatística, o custo do armazenamento de dados convergirá para uma constante após infinitos anos. O Arweave Perpetual Storage se baseia nisso e calcula o custo do armazenamento de dados por 200 anos. Os usuários pagarão esta taxa única ao armazenar dados.

Ao mesmo tempo, Arweave projetou um mecanismo de mineração de dados muito elegante e conciso. Podemos chamá-lo de “mineração de dados eficaz”.

Os chamados "dados válidos" referem-se aos dados que foram armazenados na rede Arweave no passado, e os usuários pagaram 200 anos de taxas de armazenamento por esses dados válidos. Outro grupo de funções na rede são os mineradores, que usam dados válidos para minerar e fornecem serviços de leitura de dados válidos. A diferença de outros blockchains de armazenamento é que a Arweave não força os mineradores a armazenar dados. Em vez disso, ela estabelece regras de incentivo para incentivar cada minerador a maximizar o armazenamento de “dados válidos”. Na rede Arweave, quanto mais “dados válidos” um minerador armazenar, maior será o “poder computacional” da mineração.

Supondo que existam 100 TB de dados válidos na rede Arweave, não é obrigatório que os mineradores armazenem todos os 100 TB de dados. Em outras palavras, o minerador pode minerar armazenando apenas 100 MB de dados, mas o poder computacional do minerador é muito pequeno. Se um minerador optar por armazenar todos os 100 TB de dados, a quantidade de poder computacional que ele possui será máxima.

No mecanismo de “mineração eficaz de dados”, a rede Arweave incentiva os mineradores a armazenar o máximo de dados possível, mas não os obriga a armazenar todos os dados. Então nesse modelo de incentivo existe a possibilidade de perda de dados? A seguir está um cálculo de simulação sobre perda de dados:

O 0,5 na primeira e na segunda linhas refere-se a um único nó que armazena 50% dos dados. Suponha que a rede de blocos tenha 200.000 blocos e 200 nós na rede. Cada nó armazena aleatoriamente 100.000 blocos (50% dos dados do bloco). -61. A confiabilidade dos dados fornecida pelo serviço em nuvem é de 99,9999999%, que é 10 elevado à 7ª potência. O cálculo de Arweave acima atinge uma surpreendente 61ª potência.

Filecoin e Storj usam tecnologia blockchain para construir um mercado de armazenamento de dados. A principal melhoria do Storj é a privacidade dos dados. Este artigo explica principalmente os princípios do Filecoin.

Semelhante a uma carteira de pedidos tradicional, os usuários que usam o Filecoin precisam primeiro ir ao mercado de negociação para fazer ofertas e pedidos e indicar o tempo de armazenamento de dados e a quantidade de backup. Os mineradores receberão pedidos lucrativos. A fim de garantir a justiça de todo o mercado comercial, a Filecoin estabeleceu um modelo económico complexo e estabeleceu várias regras, tais como confisco e pequenas prestações. Suas principais tecnologias são à prova de replicação e à prova de espaço-tempo.

Prova de replicação: O minerador prova ao usuário que os dados foram armazenados em um dispositivo físico dedicado. Cada vez que um minerador realiza uma prova para armazenar os dados de um usuário, a rede pagará uma taxa ao minerador.

Comprovante de tempo e espaço: Se você tiver apenas uma cópia do comprovante, não garante que seus dados ficarão sempre armazenados. Os mineradores só poderão armazenar esta parte dos dados no momento do envio do comprovante. Para tal, o Filecoin adicionou provas espaço-temporais, com o objetivo de permitir aos mineiros armazenar continuamente estes dados.

Para resumir o acima exposto, a base e o plano de implementação para a longevidade da Arweave são:

  • Os custos permanentes estão diminuindo ano a ano

  • Incentive os mineradores por meio de "mineração de dados eficaz" para alcançar a permanência dos dados

Filecoin e Storj são mercados de armazenamento descentralizados criados com tecnologia de bloco. Seus modelos são semelhantes às carteiras de pedidos dos mercados comerciais tradicionais, com os criadores de pedidos fornecendo a demanda e os mineradores aceitando pedidos para garantir o armazenamento de dados. Os principais pontos técnicos do Filecoin são: prova de replicação e prova de tempo e espaço.

Prática de armazenamento

Existem duas maneiras de armazenar dados no Arweave. O primeiro método envia dados diretamente para o nó Arweave e paga AR. A segunda maneira é usar o protocolo de vinculação de dados ANS-104 (Bundled) para empacotar dados em lote no Arweave.

Armazene dados diretamente no Arweave

O usuário só precisa preparar um AR para guardar na carteira para concluir esta ação. Use o código a seguir para armazenar um arquivo chamado file.pdf no Arweave:

Para obter mais referências de documentação: https://github.com/ArweaveTeam/arweave-js.

Use ANS-104 para armazenar dados no Arweave (recomendado)

A taxa de produção de blocos do Arweave é baixa, geralmente cerca de 2 minutos, e um bloco só pode processar 1.000 transações, o que limita bastante o número de transações que o Arweave pode armazenar, embora a capacidade de armazenamento de uma transação do Arweave seja ilimitada, os usuários podem armazenar 100 MB ou até 10 GB de dados diretamente para Arweave em uma transação. Para solucionar o problema da ampliação do número de transações, surgiu a ANS-104.

ANS-104 é uma tecnologia de vinculação multitransação que pode vincular dezenas de milhares de entidades de dados diferentes em uma transação Arweave comum ao mesmo tempo. Pode ser comparado à solução Ethereum to Layer2 Rollup. A diferença é que o ANS-104 não perde a segurança dos dados, e os dados vinculados também são dados 100% completos armazenados no Arweave.

O exemplo de código do uso de ANS-104 para armazenar dados é o seguinte:

Este código usa o nó arseeding light como o serviço de ligação de dados. O nó arseeding light é um nó de dados Arweave de código aberto que suporta todas as interfaces de nó nativo do Arweave e estende a interface ANS-104. Ao mesmo tempo, o arseeding integra o protocolo de pagamento cross-chain everPay, portanto, além de usar AR para pagar taxas de armazenamento, usuários e desenvolvedores também podem usar vários ativos como ETH, BNB, USDT e USDC para persistência de dados.

Para obter mais referências de documentação: https://web3infra.dev/docs/Arseeding/guide/quickStart.

taxas de armazenamento

Atualmente, custa US$ 7,5 para armazenar 1 GB de dados no Arweave. A referência mais recente da taxa de armazenamento: https://ar-fees.arweave.dev/.

Recuperar e baixar dados do Arweave

Arweave possui uma interface de serviço GraphQL padronizada e qualquer indivíduo ou organização pode implementar índices Arweave de acordo com o padrão. A seguir estão dois gateways de índice típicos e úteis:

  • Gateway ArweaveNet, o índice mais abrangente. https://arweave.net/graphql

  • Gateway KNN3, recuperação em tempo real de dados do nó de propagação, rápido. https://knn3-gateway.knn3.xyz/arseeding/graphql

Para baixar os dados do Arweave, você só precisa saber o ARID ou ItemID dos dados.

Método de armazenamento de Filecoin

Infelizmente, o Filecoin não fornece ferramentas de armazenamento para usuários e desenvolvedores comuns. Para desenvolvedores comuns, o Filecoin está indisponível. A partir de documentos técnicos esporádicos, você pode encontrar algumas soluções para armazenamento de Filecoin por meio de provedores de serviços terceirizados. No entanto, se você observar atentamente os documentos do provedor de serviços, a maioria dos provedores de serviços fornece apenas armazenamento IPFS. . Talvez devido ao nível limitado do autor, eu realmente não consigo encontrar uma maneira melhor de armazenar dados no Filecoin, e não existe uma interface correspondente para obter dados diretamente do Filecoin.

Método de armazenamento Storj

O método de armazenamento do Storj é o mesmo do Web2. Os desenvolvedores precisam se cadastrar no site oficial e obter a API-KEY. O armazenamento do Storj é compatível com a interface AWS S3, por isso não entrarei em detalhes aqui. As taxas de armazenamento do Storj são baixas, com 1 GB de armazenamento custando apenas US$ 0,004 por 1 mês. No entanto, o custo de armazenamento convertido para 200 anos será ligeiramente superior ao do Arweave, de US$ 9,6.

Pode-se observar pela operação de armazenamento real que o modelo de processamento de transações da Arweave é consistente com blockchains como Bitcoin/Ethereum. Filecoin não fornece SDK e interfaces utilizáveis. Infelizmente, o chamado líder de armazenamento não está disponível para desenvolvedores, o que é triste. O método de armazenamento do Storj é exatamente igual ao Web2.

É importante notar que Arweave é um armazenamento blockchain nativo e, uma vez que os dados são enviados para Arweave, eles não podem ser excluídos ou adulterados. Filecoin e Storj são modelos de aluguel. A parte do projeto pode interromper o serviço de aluguel de armazenamento a qualquer momento, os dados não possuem características de blockchain e as características dos dados são consistentes com aquelas armazenadas em serviços de nuvem centralizados.

Para distinguir mais claramente a diferença entre armazenamento de dados como Arweave e Filecoin, podemos nomear os dados no Arweave como "dados de consenso. Quer sejam dados sobre BTC ou Ethereum, são dados de consenso, e esses dados não são". recursos invioláveis ​​e invioláveis. Os dados armazenados no mercado de aluguel de armazenamento Filecoin não podem ser chamados de dados de consenso.

Perspectivas

Duas linhas de negócios completamente diferentes surgiram no armazenamento descentralizado. Entre elas, a linha de negócios representada pela Arweave tem como núcleo os dados de consenso e enfatiza a descentralização dos dados, a resistência à censura, a rastreabilidade e outras características. A linha de negócios representada pelo Filecoin está centrada no mercado descentralizado e enfatiza a alocação de recursos de armazenamento e a comprovação do sucesso do armazenamento. Análogo ao desenvolvimento do DeFi, o IDEX inicial usou a tecnologia blockchain para criar um mercado de carteira de pedidos. A carteira de pedidos é um modelo de negócios muito tradicional, com o objetivo de resolver o problema de troca de bilhetes usando o modelo de desligar e receber pedidos. A explosão do DeFi é a tecnologia de mineração de liquidez trazida pelo modelo de negociação Uniswap AMM. AMM permite que os pedidos sejam totalmente automatizados e operem, realizando a combinação de liquidez, e finalmente inaugurou a explosão do DeFi Summer. No atual caminho de armazenamento descentralizado, o Filecoin também representa a tecnologia blockchain que cria o mercado de carteira de pedidos, enquanto o Arweave usa um modelo unificado semelhante ao AMM para gerenciar a oferta e a demanda de dados. O modelo unificado do Arweave é mais conveniente para a precificação e processamento de dados. O uso do Arweave pode concluir de maneira mais conveniente a transformação de dados comuns em dados de consenso. Os dados baseados nesse consenso podem dar início a uma explosão de "composição de dados".

Ao mesmo tempo, devo mencionar a teoria SCP (paradigma de consenso baseado em armazenamento). Sua ideia central é que, desde que o armazenamento de dados tenha consenso, as aplicações compostas por esses dados também poderão formar um consenso. SCP enfatiza a computação fora da cadeia. Os dados podem ser armazenados em várias cadeias, como BTC e Ethereum, e um estado único é formado pela agregação de dados no blockchain. Como esses estados produzirão os mesmos resultados quando executados em qualquer unidade de computação, por que ainda precisamos operar neles na cadeia? Desperdiçando tantos recursos computacionais?

O atualmente popular BRC20 e Bitcoin Inscription usam o consenso da computação off-chain. O consenso de armazenamento enfatizado pelo protocolo BRC20 e pelo Arweave SCP é consistente. Ambos fornecem dados de transação imutáveis ​​e rastreáveis ​​através do blockchain como a camada de dados, e o cálculo do estado é completamente realizado fora da cadeia. Com os recursos de armazenamento do Arweave, a Teoria SCP pode obter um conjunto de dados de consenso mais robusto. A teoria Arweave SCP desenvolveu um conjunto completo de soluções de aplicação de engenharia - Permaweb, que é equivalente à versão final do indexador Bitcoin, capaz não apenas de lidar com ativos, mas também de texto, imagens e até vídeos. Imagine um futuro próximo onde indexadores superpoderosos possam transmitir mídia, criando um Douyin completamente descentralizado.

Atualmente, a solução Permaweb suporta uma ampla variedade de tipos de aplicações, seja disco de rede, cocriação de conteúdo ou jogos, ela pode ser facilmente desenvolvida usando esta arquitetura. Os dados entre aplicativos Permaweb podem ser combinados entre si. Por exemplo, um escritor carrega o texto e os direitos autorais de sua criação para a Arweave por meio da cocriação de conteúdo. Em outro jogo, o desenvolvedor pode citar diretamente o conteúdo do escritor e permitir que os jogadores paguem ao autor pelos direitos autorais.

Atualmente, a maior dificuldade que o DePIN encontra é o desempenho do blockchain. Os dispositivos DePIN entrarão em milhares de residências, mas nenhum blockchain pode realizar interações tão grandes com o usuário. A maioria dos DePINs ainda utiliza uma abordagem centralizada para processar dados, o que fará com que os DePINs percam a sua natureza descentralizada. Os dados de consenso podem trazer um empoderamento mais poderoso ao DePIN. Uma vez que os dados do DePIN se tornem permanentes, esses dados também ganharão características combinatórias. Por exemplo, um certificado de energia verde pode compensar o consumo de energia durante os cálculos PoW da blockchain, pode se tornar um logotipo na criação de conteúdo e também pode se tornar um emblema em jogos. Dados e valor fluirão por toda parte.

Os dados de consenso também se aplicam ao campo da IA. O conhecimento e a história humanos devem durar para sempre, e os dados consensuais podem garantir que a IA não pode poluir ou alterar o conhecimento e a história humanos. Da mesma forma, os dados de consenso podem ser usados ​​como a melhor matéria-prima de dados para a IA, permitindo que a IA aprenda e processe uma variedade de informações eficazes.