Autor:PermaDAO
Zdecentralizowane przechowywanie to metoda przechowywania danych, która nie opiera się na jednym centralnym punkcie kontroli. Takie podejście kontrastuje z tradycyjnym scentralizowanym przechowywaniem (takim jak tradycyjne usługi przechowywania w chmurze, takie jak Amazon S3 lub Google Cloud), którymi często zarządza jedno przedsiębiorstwo lub organizacja.
Popularne zdecentralizowane przechowywanie
Obecnie do głównych zdecentralizowanych pamięci masowych na rynku należą Arweave, Filecoin i Storj. Każdy z nich ma unikalne cechy i koncepcje projektowe:
Arweave koncentruje się na długotrwałym lub stałym przechowywaniu danych.
Filecoin zapewnia zdecentralizowany rynek podobny do tradycyjnego przechowywania w chmurze, wspierając elastyczne potrzeby w zakresie przechowywania.
Storj koncentruje się na zdecentralizowanych usługach przechowywania w chmurze, które zapewniają bezpieczeństwo i ochronę prywatności.
Wszystkie te trzy platformy korzystają z technologii blockchain, ale ich scenariusze zastosowań, wdrożenia techniczne i modele płatności są różne, a każda z nich jest odpowiednia dla różnych typów potrzeb w zakresie przechowywania:
Arweave
Cel: Zapewnienie długoterminowego, trwałego rozwiązania do przechowywania danych. Celem Arweave jest przechowywanie danych „na zawsze” i służy głównie do długoterminowego przechowywania danych.
Technologia: Wykorzystuje unikalną technologię blockchain zwaną Blockweave. W przeciwieństwie do tradycyjnych łańcuchów bloków, Block Fabric zawiera odniesienia do wcześniejszych losowych bloków w każdym nowym bloku, co ma na celu zachęcenie do długoterminowego przechowywania danych.
Model płatności: Użytkownicy płacą jednorazową opłatę za przechowywanie danych, a teoretycznie dostęp do danych jest możliwy po ich zapisaniu.
Filecoin
Cel: Ma na celu stworzenie zdecentralizowanego rynku pamięci masowej, podobnego do tradycyjnych usług przechowywania w chmurze.
Technologia: Filecoin jest warstwą motywacyjną dla IPFS (Internet File System). Wykorzystuje „dowód przechowywania” oraz „dowód miejsca i czasu”, aby zapewnić prawidłowe przechowywanie danych.
Model płatności: użytkownicy płacą dostawcy pamięci masowej na podstawie ilości przechowywanych danych i czasu ich przechowywania. Jest to bardziej tradycyjny model wynajmu, w którym użytkownicy mogą zwiększać lub zmniejszać przestrzeń dyskową w zależności od potrzeb i odpowiednio płacić.
Historia
Cel: Zapewnienie użytkownikom zdecentralizowanego rozwiązania do przechowywania w chmurze, skupiającego się na bezpieczeństwie i ochronie prywatności.
Technologia: Storj wykorzystuje technologię szyfrowania i fragmentowania, aby chronić bezpieczeństwo danych i prywatność. Dane są szyfrowane i dzielone na wiele małych fragmentów na kliencie przed przesłaniem, a następnie dystrybuowane i przechowywane w węzłach na całym świecie.
Model płatności: model płatności Storj jest podobny do tradycyjnego przechowywania w chmurze, a rozliczenia opierają się na wykorzystywanej przestrzeni dyskowej i przepustowości.
Natomiast Arweave jest wyjątkowy, ponieważ kładzie nacisk na trwałe przechowywanie i zwraca większą uwagę na odporność i trwałość danych na cenzurę. Zarówno Filecoin, jak i Storj korzystają z rynku pamięci masowej i koncentrują się na wykorzystaniu technologii blockchain do rekonstrukcji rynku pamięci masowej.
Analiza architektury biznesowej
Teoretyczne podstawy Arweave'a dotyczące trwałego przechowywania danych są podobne do „prawa Moore'a”. Według statystyk dotyczących kosztów przechowywania danych od 1980 r. do chwili obecnej koszty przechowywania spadają w tempie 20% rocznie. Zgodnie z tym prawem statystycznym koszt przechowywania danych będzie się utrzymywał na stałym poziomie po nieskończonych latach. Na tej podstawie Arweave Perpetual Storage oblicza koszt przechowywania danych przez 200 lat. Użytkownicy będą płacić tę jednorazową opłatę za przechowywanie danych.
Jednocześnie Arweave zaprojektował bardzo elegancki i zwięzły mechanizm eksploracji danych. Możemy nazwać to „efektywną eksploracją danych”.
Tak zwane „ważne dane” odnoszą się do danych, które były przechowywane w sieci Arweave w przeszłości, a użytkownicy płacili opłaty za przechowywanie tych ważnych danych przez 200 lat. Kolejna grupa ról w sieci – górnicy, wykorzystują prawidłowe dane do wydobywania i świadczą ważne usługi odczytu danych. Różnica w stosunku do innych łańcuchów bloków pamięci masowej polega na tym, że Arweave nie zmusza górników do przechowywania danych. Zamiast tego ustanawia zasady motywacyjne, aby zachęcić każdego górnika do maksymalizacji przechowywania „ważnych danych”. W sieci Arweave im więcej „ważnych danych” przechowuje górnik, tym większa jest „moc obliczeniowa” wydobycia.
Zakładając, że w sieci Arweave znajduje się 100 TB ważnych danych, górnicy nie mają obowiązku przechowywania wszystkich 100 TB danych. Innymi słowy, górnik może wydobywać, przechowując tylko 100 MB danych, ale jego moc obliczeniowa jest bardzo mała. Jeśli górnik zdecyduje się na przechowywanie wszystkich 100 TB danych, ilość mocy obliczeniowej, jaką będzie dysponował, będzie maksymalna.
W mechanizmie „efektywnej eksploracji danych” sieć Arweave zachęca górników do przechowywania jak największej ilości danych, ale nie zmusza ich do przechowywania wszystkich danych. Czy w tym modelu motywacyjnym istnieje możliwość utraty danych? Poniżej przedstawiono obliczenia symulacyjne dotyczące utraty danych:
Wartość 0,5 w pierwszym i drugim wierszu odnosi się do pojedynczego węzła przechowującego 50% danych. Załóżmy, że sieć blokowa składa się z 200 000 bloków i 200 węzłów. Każdy węzeł losowo przechowuje 100 000 bloków (50% danych blokowych). Można to obliczyć na podstawie prawdopodobieństwa, że pojedynczy blok nie będzie w stanie. Prawdopodobieństwo dostępu wynosi 6,223^10 -61. Wiarygodność danych zapewniana przez usługę w chmurze wynosi 99,9999999%, co stanowi 10 do potęgi 7. Powyższy rachunek Arweave’a osiąga zdumiewającą 61. potęgę.
Zarówno Filecoin, jak i Storj wykorzystują technologię blockchain do budowania rynku przechowywania danych. Głównym ulepszeniem Storj jest prywatność danych. W tym artykule wyjaśniono głównie zasady Filecoin.
Podobnie jak w przypadku tradycyjnego arkusza zamówień, użytkownicy korzystający z Filecoin muszą najpierw udać się na rynek handlowy, aby złożyć oferty i złożyć zamówienia, a także wskazać czas przechowywania danych i ilość kopii zapasowych. Górnicy otrzymają zyskowne zamówienia. Aby zapewnić uczciwość całego rynku handlowego, Filecoin ustanowił złożony model ekonomiczny i ustanowił różne zasady, takie jak przepadek i płatności w małych ratach. Jej podstawowe technologie są odporne na replikację i czasoprzestrzenną.
Dowód replikacji: Górnicy udowadniają użytkownikom, że dane zostały zapisane na dedykowanym urządzeniu fizycznym. Za każdym razem, gdy górnik przeprowadzi dowód przechowywania danych użytkownika, sieć zapłaci mu opłatę.
Dowód czasu i miejsca: Jeśli masz tylko kopię dowodu, nie gwarantuje to, że Twoje dane będą zawsze przechowywane. Górnicy mogą przechowywać tylko tę część danych podczas przesyłania dowodu. W tym celu Filecoin dodał dowód czasoprzestrzenny, aby umożliwić górnikom ciągłe przechowywanie tych danych.
Podsumowując powyższe, podstawą i planem wdrożenia długowieczności Arweave są:
Koszty stałe maleją z roku na rok
Motywuj górników poprzez „efektywną eksplorację danych” w celu osiągnięcia trwałości danych
Filecoin i Storj to zdecentralizowane rynki pamięci masowej utworzone przy użyciu technologii blokowej. Ich modele są podobne do ksiąg zamówień tradycyjnych rynków handlowych. Księga zamówień zapewnia popyt, a górnicy przyjmują zamówienia w celu zapewnienia przechowywania danych. Podstawowe punkty techniczne Filecoina to: dowód replikacji oraz dowód czasu i przestrzeni.
Praktyka przechowywania
Istnieją dwa sposoby przechowywania danych w Arweave. Pierwsza metoda bezpośrednio wysyła dane do węzła Arweave i płaci AR. Drugi sposób polega na użyciu protokołu wiązania danych ANS-104 (w pakiecie) do wsadowego przesyłania danych pakietów do Arweave.
Przechowuj dane bezpośrednio w Arweave
Aby ukończyć tę czynność, użytkownik musi jedynie przygotować AR do przechowywania w portfelu. Użyj poniższego kodu, aby zapisać plik o nazwie file.pdf w Arweave:
Więcej informacji na temat dokumentacji: https://github.com/ArweaveTeam/arweave-js.
Użyj ANS-104 do przechowywania danych w Arweave (zalecane)
Szybkość produkcji bloków Arweave jest niska, zwykle około 2 minut, a blok może przetworzyć tylko 1000 transakcji, co znacznie ogranicza liczbę transakcji, które Arweave może przechowywać, chociaż pojemność transakcji Arweave jest nieograniczona, użytkownicy mogą przechowywać 100 MB lub nawet 10 GB danych bezpośrednio do Arweave w jednej transakcji. Aby rozwiązać problem zwiększania liczby transakcji, powstał ANS-104.
ANS-104 to technologia wiązania wielu transakcji, która może jednocześnie powiązać dziesiątki tysięcy różnych jednostek danych we wspólną transakcję Arweave. Można je porównać do rozwiązania Ethereum to Layer2 Rollup. Różnica polega na tym, że ANS-104 nie traci bezpieczeństwa danych, a powiązane dane są jednocześnie w 100% kompletnymi danymi przechowywanymi w Arweave.
Przykładowy kod wykorzystania ANS-104 do przechowywania danych jest następujący:
Ten kod wykorzystuje węzeł światła arseeding jako usługę wiązania danych. Węzeł światła arseeding jest węzłem danych Arweave o całkowicie otwartym kodzie źródłowym, który obsługuje wszystkie interfejsy natywnych węzłów Arweave i rozszerza interfejs ANS-104. Jednocześnie arseeding integruje międzyłańcuchowy protokół płatności everPay, więc oprócz korzystania z AR do płacenia opłat za przechowywanie, użytkownicy i programiści mogą również wykorzystywać różne aktywa, takie jak ETH, BNB, USDT i USDC do utrwalania danych.
Więcej informacji na temat dokumentacji: https://web3infra.dev/docs/Arseeding/guide/quickStart.
opłaty za przechowywanie
Obecnie przechowywanie 1 GB danych w Arweave kosztuje 7,5 USD. Najnowsze informacje dotyczące opłat za przechowywanie: https://ar-fees.arweave.dev/.
Odzyskaj i pobierz dane Arweave
Arweave posiada ustandaryzowany interfejs usług GraphQL i każda osoba lub organizacja może wdrożyć indeksy Arweave zgodnie ze standardem. Poniżej znajdują się dwie typowe i przydatne bramy indeksowe:
Brama ArweaveNet, najbardziej wszechstronny indeks. https://arweave.net/graphql
Bramka KNN3, szybkie pobieranie danych węzła arseedingowego w czasie rzeczywistym. https://knn3-gateway.knn3.xyz/arseeding/graphql
Aby pobrać dane Arweave, wystarczy znać ARID lub ItemID przykładowego kodu:
Metoda przechowywania Filecoin
Niestety Filecoin nie zapewnia narzędzi do przechowywania dla zwykłych użytkowników i programistów. Dla zwykłych programistów Filecoin jest w stanie niedostępnym. W sporadycznych dokumentach technicznych można znaleźć pewne rozwiązania dotyczące przechowywania Filecoin za pośrednictwem zewnętrznych dostawców usług. Jeśli jednak dokładnie przyjrzysz się dokumentom usługodawcy, większość usługodawców zapewnia jedynie pamięć masową IPFS, a ci usługodawcy niekoniecznie przechowują dane. Filecoin. Być może ze względu na ograniczony poziom autora naprawdę nie mogę znaleźć lepszego sposobu na przechowywanie danych w Filecoin i nie ma odpowiedniego interfejsu do bezpośredniego uzyskiwania danych z Filecoin.
Metoda przechowywania Storj
Metoda przechowywania Storj jest taka sama jak w przypadku Web2. Programiści muszą zarejestrować się na oficjalnej stronie internetowej i uzyskać klucz API. Pamięć Storj jest kompatybilna z interfejsem AWS S3, więc nie będę się tutaj wdawał w szczegóły. Opłaty za przechowywanie w Storj są niskie – 1 GB miejsca kosztuje zaledwie 0,004 USD za 1 miesiąc. Jednak koszt przechowywania w przeliczeniu na 200 lat będzie nieco wyższy niż w przypadku Arweave i wyniesie 9,6 dolara.
Z rzeczywistej operacji przechowywania widać, że model przetwarzania transakcji Arweave jest spójny z łańcuchami bloków, takimi jak Bitcoin/Ethereum. Filecoin nie zapewnia użytecznego SDK i interfejsów. Niestety, tzw. lider pamięci masowej jest niedostępny dla programistów, co jest rozczarowujące. Metoda przechowywania Storj jest dokładnie taka sama jak w Web2.
Warto zauważyć, że Arweave jest natywną pamięcią masową typu blockchain i gdy dane zostaną przesłane do Arweave, nie można ich usunąć ani zmodyfikować. Filecoin i Storj to modele leasingowe. Strona projektu może w dowolnym momencie zaprzestać świadczenia usługi leasingu pamięci masowej. W tym trybie dane nie mają charakteru blockchain, a charakterystyka danych jest zgodna z danymi przechowywanymi w scentralizowanych usługach chmurowych.
Aby wyraźniej odróżnić przechowywanie danych, takie jak Arweave i Filecoin, możemy nazwać dane w Arweave „danymi konsensusowymi”. Niezależnie od tego, czy są to dane dotyczące BTC, czy Ethereum, są to dane konsensusowe i mogą być funkcjami identyfikowalności. Danych przechowywanych na rynku wynajmu pamięci Filecoin nie można nazwać danymi konsensusowymi.
Horyzont
W zdecentralizowanym magazynowaniu wyłoniły się dwie zupełnie różne linie biznesowe. Wśród nich linia biznesowa reprezentowana przez Arweave opiera się na danych konsensusowych i kładzie nacisk na decentralizację danych, odporność na cenzurę, identyfikowalność i inne cechy. Linia biznesowa reprezentowana przez Filecoin koncentruje się na zdecentralizowanym rynku i kładzie nacisk na alokację zasobów pamięci masowej i udowadnianie sukcesu w zakresie przechowywania. Analogicznie do rozwoju DeFi, wczesny IDEX wykorzystywał technologię blockchain do stworzenia rynku księgi zamówień. Księga zamówień jest bardzo tradycyjnym modelem biznesowym, mającym na celu rozwiązanie problemu wymiany biletów za pomocą modelu rozłączania się i przyjmowania zamówień. Eksplozja DeFi to technologia wydobywania płynności wprowadzona przez model handlu Uniswap AMM AMM, która umożliwia pełną automatyzację zleceń i działanie, realizując połączenie płynności, co ostatecznie zapoczątkowało eksplozję DeFi Summer. Na obecnym zdecentralizowanym rynku przechowywania Filecoin reprezentuje również technologię blockchain, która tworzy rynek księgi zamówień, podczas gdy Arweave wykorzystuje ujednolicony model podobny do AMM do zarządzania podażą i popytem na dane. Ujednolicony model Arweave jest wygodniejszy do wyceny i przetwarzania danych. Korzystanie z Arweave może wygodniej zakończyć transformację zwykłych danych w dane konsensusowe. Dane oparte na tym konsensusie mogą zapoczątkować eksplozję „kompozycji danych”.
Jednocześnie muszę wspomnieć o teorii SCP (paradygmat konsensusu opartego na przechowywaniu). Jej podstawowa idea polega na tym, że dopóki w przypadku przechowywania danych istnieje konsensus, aplikacje złożone z tych danych również mogą tworzyć konsensus. SCP kładzie nacisk na przetwarzanie poza łańcuchem. Dane mogą być przechowywane w różnych łańcuchach, takich jak BTC i Ethereum, a unikalny stan jest tworzony przez agregację danych w łańcuchu bloków. Ponieważ te stany dadzą takie same wyniki, gdy zostaną uruchomione na dowolnej jednostce obliczeniowej, dlaczego nadal musimy operować na nich w łańcuchu? Marnujesz tak dużo zasobów obliczeniowych?
Obecnie popularne BRC20 i Bitcoin Inscription korzystają z konsensusu przetwarzania poza łańcuchem. Konsensus dotyczący przechowywania podkreślany przez protokół BRC20 i Arweave SCP jest spójny. Obydwa wykorzystują łańcuch bloków jako warstwę danych w celu zapewnienia niezmiennych i identyfikowalnych danych transakcyjnych, a obliczanie stanu odbywa się całkowicie poza łańcuchem. Dzięki możliwościom przechowywania Arweave, teoria SCP może uzyskać solidniejszy zestaw danych konsensusowych. W teorii Arweave SCP opracowano kompletny zestaw rozwiązań inżynieryjnych - Permaweb, który jest odpowiednikiem ostatecznej wersji indeksatora Bitcoin. Permaweb może przetwarzać nie tylko zasoby, ale także tekst, obrazy, a nawet filmy. Wyobraź sobie niedaleką przyszłość, w której superpotężne indeksatory mogą przesyłać strumieniowo multimedia, tworząc całkowicie zdecentralizowanego Douyina.
Obecnie rozwiązanie Permaweb obsługuje szeroką gamę typów aplikacji, niezależnie od tego, czy jest to dysk sieciowy, współtworzenie treści, czy gry, można je łatwo rozwijać przy użyciu tej architektury. Dane pomiędzy aplikacjami Permaweb można ze sobą łączyć. Na przykład autor przesyła tekst i prawa autorskie do swojego dzieła do Arweave w ramach współtworzenia treści. W innej grze programista może bezpośrednio zacytować treść autora i pozwolić graczom zapłacić autorowi za prawa autorskie.
Obecnie największą trudnością, na jaką napotyka DePIN, jest wydajność urządzeń DePIN, które trafią do tysięcy gospodarstw domowych, ale żaden blockchain nie jest w stanie obsłużyć tak ogromnych interakcji użytkowników. Większość DePINów nadal stosuje scentralizowane podejście do przetwarzania danych, co sprawi, że DePIN stracą swój zdecentralizowany charakter. Dane oparte na konsensusie mogą zapewnić DePIN większe wzmocnienie. Gdy dane DePIN staną się trwałe, dane te również zyskają charakter kombinatoryczny. Na przykład certyfikat zielonej energii może zrównoważyć zużycie energii podczas obliczeń Blockchain PoW, może stać się logo w tworzeniu treści, a także może stać się plakietką w grach. Dane i wartości będą płynąć wszędzie.
Dane zawarte w ramach konsensusu mają zastosowanie również w dziedzinie sztucznej inteligencji. Ludzka wiedza i historia powinny trwać wiecznie, a konsensus danych może zapewnić, że sztuczna inteligencja nie będzie mogła zanieczyszczać ludzkiej wiedzy i historii ani manipulować nimi. Podobnie dane konsensusowe można wykorzystać jako najlepszy surowiec danych dla sztucznej inteligencji, umożliwiający sztucznej inteligencji uczenie się i przetwarzanie różnorodnych efektywnych informacji.