Autor: Kernel Ventures Jerry Luo

Recenzenti: Kernel Ventures Mandy, Kernel Ventures Joshua

TLDR:

  1. Dřívější veřejné řetězce vyžadovaly, aby všechny síťové uzly udržovaly konzistenci dat pro zajištění bezpečnosti a decentralizace. S rozvojem blockchainového ekosystému však tlak na úložiště stále roste, což vede k trendu centralizovaných operací uzlů. V této fázi vrstva 1 naléhavě potřebuje vyřešit problém s náklady na úložiště způsobený růstem TPS.

  2. Tváří v tvář tomuto problému musí vývojáři navrhnout nová řešení pro ukládání historických dat a zároveň vzít v úvahu zabezpečení, náklady na úložiště, rychlost čtení dat a všestrannost DA vrstvy.

  3. V procesu řešení tohoto problému se objevilo mnoho nových technologií a nových nápadů, včetně Sharding, DAS, Verkle Tree, DA meziproduktů atd. Pokusili se optimalizovat řešení úložiště DA vrstvy snížením redundance dat a zlepšením efektivity ověřování dat.

  4. Současná řešení DA jsou zhruba rozdělena do dvou kategorií na základě umístění úložiště dat, konkrétně DA hlavního řetězce a DA třetích stran. Hlavní řetězec DA začíná z pohledu pravidelného čištění dat a sdílení dat, aby se snížil tlak na úložiště uzlů. Všechny požadavky na design DA třetích stran jsou zaměřeny na služby úložiště a mají rozumná řešení pro velká množství dat. Proto je hlavní důraz kladen na kompromis mezi jednořetězcovou kompatibilitou a víceřetězcovou kompatibilitou a jsou navržena tři řešení: hlavní řetězec vyhrazený DA, modulární DA a veřejný řetězec DA úložiště.

  5. Veřejné řetězce platebního typu mají extrémně vysoké požadavky na zabezpečení historických dat a jsou vhodné pro použití hlavního řetězce jako DA vrstvy. Pro veřejné řetězce, které fungují již delší dobu a mají na síti velký počet těžařů, by však bylo vhodnější přijmout DA třetí strany, který nezahrnuje konsenzuální vrstvu a zohledňuje bezpečnost. Komplexní veřejné řetězce jsou vhodnější pro použití vyhrazeného DA úložiště hlavního řetězce s větší datovou kapacitou, nižšími náklady a zabezpečením. Ale vzhledem k potřebám cross-chain je modulární DA také dobrou volbou.

  6. Obecně lze říci, že blockchain se vyvíjí směrem ke snižování redundance dat a víceřetězcové dělbě práce.

1. Pozadí

Blockchain jako distribuovaná účetní kniha potřebuje ukládat historická data na všech uzlech, aby byla zajištěna bezpečnost a dostatečná decentralizace datových úložišť. Vzhledem k tomu, že správnost každé změny stavu souvisí s předchozím stavem (zdrojem transakce), měl by blockchain pro zajištění správnosti transakcí v zásadě uchovávat všechny historické záznamy od první transakce po aktuální transakci. Vezměme si jako příklad Ethereum, i když se průměrná velikost bloku odhaduje na 20 kb, současná celková velikost bloků Etherea dosáhla 370 GB Kromě samotného bloku musí celý uzel zaznamenávat stav a příjmy transakcí. . Po započtení této části celková kapacita úložiště jednoho uzlu přesáhla 1 TB, což koncentruje provoz uzlu na několik lidí.

Nejnovější výška bloku Etherea, zdroj obrázku: Etherscan

Nedávný upgrade Etherea Cancun má za cíl zvýšit TPS Etherea na přibližně 1 000. Do té doby roční růst úložiště Etherea překročí součet jeho aktuální úložné kapacity. Mezi různými vysoce výkonnými veřejnými řetězci, které se v poslední době staly populárními, může transakční rychlost v řádu desítek tisíc TPS přinést každý den v průměru stovky GB nových dat. Společná metoda redundance dat celého síťového uzlu se zjevně nedokáže přizpůsobit takovému tlaku úložiště. Vrstva1 musí najít vhodné řešení, aby vyrovnalo růst TPS a náklady na úložiště uzlu.

2. Ukazatele výkonnosti DA

2.1 Zabezpečení

Ve srovnání s databázovými nebo propojenými strukturami úložišť vychází neovlivnitelnost blockchainu ze schopnosti ověřovat nově vygenerovaná data prostřednictvím historických dat. Proto je zajištění bezpečnosti historických dat prvním problémem, který je třeba vzít v úvahu při ukládání na DA. Při posuzování datové bezpečnosti blockchainových systémů ji často analyzujeme z množství redundance dat a způsobu ověření dostupnosti dat.

  • Míra redundance: Pokud jde o redundanci dat v blockchainovém systému, může hrát především tyto role: Za prvé, pokud je počet redundancí v síti větší, když ověřovatel potřebuje zkontrolovat stav účtu v určitém historickém bloku, aby ověřit Při ověřování transakce může získat nejvíce vzorků pro referenci a vybrat data zaznamenaná většinou uzlů. V tradičních databázích, protože data jsou uložena pouze ve formě párů klíč-hodnota na určitém uzlu, lze změny historických dat provádět pouze na jediném uzlu a náklady na útok jsou teoreticky tím vyšší počet propouštění, tím méně pravděpodobná data budou, tím vyšší bude míra důvěryhodnosti. Zároveň platí, že čím více uzlů je uloženo, tím menší je pravděpodobnost ztráty dat. To lze také přirovnat k centralizovanému serveru, na kterém jsou uloženy hry Web2. Jakmile budou všechny backendové servery vypnuty, bude server zcela vypnut. Čím více, tím lépe, protože každý kus redundance přinese další úložný prostor. Nadměrná redundance dat přinese do systému nadměrný tlak na ukládání dat.

  • Ověření dostupnosti dat: Počet redundancí zajišťuje dostatek záznamů dat v síti, ale musí být ověřena přesnost a úplnost dat, která mají být použita. Běžně používanou metodou ověřování v současném blockchainu je algoritmus kryptografického závazku, který zachovává malý kryptografický závazek pro záznam celé sítě. Tento závazek se získává smícháním transakčních dat. Chcete-li otestovat pravost určité části historických dat, musíte obnovit šifrovací závazek prostřednictvím dat a zkontrolovat, zda je šifrovací závazek získaný tímto obnovením konzistentní se záznamy celé sítě, pokud je konzistentní , ověření je úspěšné. Mezi běžně používané kryptografické ověřovací algoritmy patří Merkle Root a Verkle Root. Algoritmus pro ověřování dostupnosti vysoce bezpečných dat vyžaduje pouze malé množství ověřovacích dat a dokáže rychle ověřit historická data.

2.2 Náklady na skladování

Na základě předpokladu zajištění základní bezpečnosti je dalším základním cílem, kterého musí DA vrstva dosáhnout, snížit náklady a zvýšit efektivitu. Prvním je snížení nákladů na úložiště bez ohledu na rozdíly ve výkonu hardwaru, tedy snížení využití paměti způsobené ukládáním dat o velikosti jednotky. V této fázi jsou hlavní způsoby, jak snížit náklady na úložiště v blockchainu, přijmout technologii sharding a používat úložiště založené na odměnách, aby se zajistilo, že data budou efektivně uložena, a sníží se počet záloh dat. Z výše uvedených způsobů vylepšení však není těžké vidět, že existuje herní vztah mezi náklady na úložiště a zabezpečením dat. Snížení obsazenosti úložiště často znamená snížení bezpečnosti. Proto musí vynikající DA vrstva dosáhnout rovnováhy mezi náklady na úložiště a zabezpečením dat. Kromě toho, pokud je vrstva DA samostatným veřejným řetězcem, je třeba snížit náklady minimalizací meziprocesu výměny dat V každém procesu přenosu je třeba data indexu ponechat pro následná volání dotazů tím více indexových dat zůstane a náklady na úložiště se zvýší. A konečně, náklady na ukládání dat přímo souvisí s trvanlivostí dat. Obecně řečeno, čím vyšší jsou náklady na ukládání dat, tím obtížnější je pro veřejný řetězec trvale uchovávat data.

2.3 Rychlost čtení dat

Po dosažení snížení nákladů je dalším krokem zvýšení efektivity, což je schopnost rychle vyvolat data z DA vrstvy, když je potřeba je použít. Tento proces zahrnuje dva kroky. Prvním je vyhledávání uzlů, které ukládají data. Tento proces je určen především pro veřejné řetězce, které nedosáhly konzistence dat v celé síti lze ignorovat časovou náročnost procesu. Za druhé, v současných mainstreamových blockchainových systémech, včetně Bitcoinu, Etherea a Filecoinu, je metodou ukládání uzlů databáze Leveldb. V Leveldb se data ukládají třemi způsoby. Nejprve budou okamžitě zapsaná data uložena do souborů typu Memtable. Když je úložiště Memtable plné, typ souboru se změní z Memtable na Immutable Memtable. Oba typy souborů jsou uloženy v paměti, ale soubory Immutable Memtable již nelze měnit, lze z nich pouze číst data. Horké úložiště používané v síti IPFS ukládá data do této části, když je voláno, lze je rychle číst z paměti, mobilní paměť běžného uzlu je však často na úrovni GB a je snadné jej pomalu zapisovat. a když Po pádu uzlu dojde k jiné abnormální situaci, data v paměti budou trvale ztracena. Pokud chcete, aby byla data uložena trvale, musíte je uložit ve formě souboru SST na pevný disk (SSD). Při čtení dat je však potřeba data nejprve načíst do paměti. což výrazně snižuje rychlost indexování dat. A konečně, u systémů, které používají sdílené úložiště, obnovení dat vyžaduje odesílání požadavků na data do více uzlů a jejich obnovení Tento proces také sníží rychlost čtení dat.

Metoda ukládání dat Leveldb, zdroj obrázků: Leveldb-handbook

Všestrannost 2,4 DA vrstvy

S rozvojem DeFi a různými problémy s CEX také rostou požadavky uživatelů na cross-chain transakce decentralizovaných aktiv. Bez ohledu na cross-chain mechanismus hash locking, notary public nebo relay chain se nelze vyhnout současnému stanovení historických dat na obou řetězcích. Klíč k tomuto problému spočívá v oddělení dat na dvou řetězcích a přímé komunikace nelze dosáhnout v různých decentralizovaných systémech. Proto je v této fázi navrženo řešení změnou způsobu ukládání DA vrstvy, která nejen ukládá historická data více veřejných řetězců na stejném důvěryhodném veřejném řetězci, ale potřebuje pouze volat data na tomto veřejném řetězci při ověřování Can . To vyžaduje, aby DA vrstva byla schopna vytvořit bezpečné komunikační metody s různými typy veřejných řetězců, což znamená, že DA vrstva má dobrou všestrannost.

3. Průzkum technologií souvisejících s DA

3.1 Sdílení

  • V tradičním distribuovaném systému není soubor uložen v úplné podobě na určitém uzlu, místo toho jsou původní data rozdělena do více bloků a jeden blok je uložen v každém uzlu. A bloky často nejsou uloženy pouze na jednom uzlu, ale ponechávají příslušné zálohy na jiných uzlech Ve stávajících běžných distribuovaných systémech je tento počet záloh obvykle nastaven na 2. Tento Sharding mechanismus dokáže snížit úložný tlak jednoho uzlu, rozšířit celkovou kapacitu systému na součet úložných kapacit každého uzlu a zároveň zajistit bezpečnost úložiště pomocí vhodné redundance dat. Schéma Sharding přijaté v blockchainu je obecně podobné, ale konkrétní detaily se budou lišit. Za prvé, protože každý uzel v blockchainu je ve výchozím nastavení nedůvěryhodný, proces implementace Sharding vyžaduje dostatečně velké množství zálohy dat pro následné posouzení pravosti dat, takže počet záloh pro tento uzel musí být mnohem větší než 2. . V ideálním případě v blockchainovém systému využívajícím toto schéma úložiště, pokud je celkový počet ověřovacích uzlů T a počet útržků je N, pak by měl být počet záloh T/N. Druhým je proces ukládání Block V tradičních distribuovaných systémech je méně uzlů, takže jeden uzel se často přizpůsobuje více datovým blokům. Nejprve jsou data mapována do hash ringu pomocí konzistentního hashovacího algoritmu a poté každý uzel ukládá data. bloky očíslované v určitém rozsahu a může akceptovat, že uzel během určitého úložiště nepřiděluje úlohy úložiště. V blockchainu už není to, zda je každému uzlu přiřazen blok, náhodná událost, ale nevyhnutelná událost. Každý uzel náhodně vybere blok pro uložení hašování dat je dokončeno převzetím modulu počtu střepů. Za předpokladu, že je každý kus dat rozdělen do N bloků, je skutečná velikost úložiště každého uzlu pouze 1/N původního. Vhodným nastavením N lze dosáhnout rovnováhy mezi rostoucím TPS a tlakem v uzlu.

Způsob ukládání dat po Sharding, zdroj obrázku: Kernel Ventures

3.2 DAS (vzorkování dostupnosti dat)

Technologie DAS je založena na další optimalizaci metod úložiště Sharding. Během procesu Sharding může kvůli jednoduchému náhodnému ukládání uzlů dojít ke ztrátě určitého bloku. Za druhé, u fragmentovaných dat je také velmi důležité potvrdit pravost a integritu dat během procesu obnovy. V DAS jsou tyto dva problémy vyřešeny pomocí kódu Eraser a polynomiálního závazku KZG.

  • Eraser code: Vzhledem k obrovskému počtu ověřovacích uzlů v Ethereu je pravděpodobnost, že určitý Blok není uložen žádným uzlem, téměř 0, ale teoreticky stále existuje možnost, že k takové extrémní situaci dojde. Aby se zmírnila tato možná hrozba ztráty úložiště, podle tohoto schématu nejsou původní data často přímo rozdělena do bloků pro uložení, místo toho jsou původní data nejprve mapována na koeficienty polynomu n-řádu a poté je 2n. převzaty z bodů polynomu a nechat uzel náhodně vybrat jeden z nich pro uložení. Pro tento polynom n-řádu je potřeba pouze n+1 bodů k jeho obnově. Proto stačí vybrat pouze polovinu bloků uzly a můžeme obnovit původní data. Prostřednictvím kódu Eraser je vylepšeno zabezpečení úložiště dat a schopnost obnovy dat v síti.

  • KZG Polynomial Commitment: Velmi důležitou součástí ukládání dat je ověřování pravosti dat. V síti, která nepoužívá kód Eraser, lze v procesu ověřování použít různé metody. Pokud je však výše uvedený kód Eraser zaveden pro zlepšení zabezpečení dat, pak je vhodnější použít polynomiální závazek KZG. KZG polynomial závazek může přímo ověřit obsah jednoho bloku ve formě polynomů, čímž odpadá proces redukce polynomů na binární data Verifikační formulář je obecně podobný Merkle Tree, ale nevyžaduje specifická data uzlu Path, pouze KZG Kořen Jeho pravost lze ověřit pomocí blokových dat.

3.3 Metoda ověření dat vrstvy DA

Ověření dat zajišťuje, že s daty volanými z uzlu nebylo manipulováno a nebyla ztracena. Aby se minimalizovalo množství dat a nákladů na výpočty vyžadované v procesu ověřování, vrstva DA v současnosti používá jako hlavní metodu ověřování stromovou strukturu. Nejjednodušší formou je použít Merkle Tree pro ověření, který je zaznamenán ve formě kompletního binárního stromu. Pro ověření stačí zachovat Merkle Root a hash hodnotu podstromu čas ověření je komplikovaný Stupeň je úroveň O(logN) (pokud logN nepřidá základ, výchozí hodnota je log2(N)). Přestože byl proces ověřování značně zjednodušen, celkový objem dat procesu ověřování stále roste s nárůstem dat. Pro vyřešení problému zvýšeného objemu ověřování je v této fázi navržena další metoda ověřování, Verkle Tree. Kromě ukládání hodnoty přichází každý uzel ve Verkle Tree také s vektorovým závazkem Prostřednictvím hodnoty původního uzlu a tohoto potvrzení závazku lze rychle ověřit pravost dat, aniž by bylo nutné volat hodnoty jiné sestry. nodes, což dělá každý Počet ověřovacích výpočtů souvisí pouze s hloubkou Verkle Tree a je pevnou konstantou, což značně urychluje rychlost ověřování. Výpočet Vector Commitment však vyžaduje účast všech sesterských uzlů na stejné vrstvě, což značně zvyšuje náklady na zápis a změnu dat. Nicméně pro data, jako jsou historická data, která jsou trvale uložena a nelze s nimi manipulovat a která je třeba pouze číst, ale nikoli zapisovat, je Verkle Tree mimořádně vhodný. Navíc Merkle Tree a Verkle Tree samotné mají varianty ve formě K-ary, jejich specifické implementační mechanismy jsou podobné, až na to, že je změněn počet podstromů pod každým uzlem.

Porovnání časové výkonnosti metod ověřování dat, zdroj obrázku: Verkle Trees

3.4 Obecný middleware DA

Neustálé rozšiřování blockchainového ekosystému přineslo neustálý nárůst počtu veřejných řetězců. Vzhledem k výhodám a nenahraditelnosti každého veřejného řetězce ve svých oborech je téměř nemožné, aby se veřejné řetězce na 1. vrstvě sjednotily v krátkém časovém období. S rozvojem DeFi a různými problémy s CEX však také rostou požadavky uživatelů na decentralizovaná cross-chain obchodní aktiva. Víceřetězcové datové úložiště na vrstvě DA, které dokáže eliminovat bezpečnostní problémy v interakcích mezi řetězci dat, se proto dostává stále více pozornosti. Aby však mohla přijímat historická data z různých veřejných řetězců, musí vrstva DA poskytovat decentralizovaný protokol pro standardizované ukládání a ověřování datových toků. Například kvye, middleware pro ukládání dat založený na Arweave, přebírá iniciativu k zachycení dat z řetězce a mohou být všechna Data v řetězci uložena v Arweave ve standardní podobě, aby se minimalizovaly rozdíly v procesu přenosu dat. Relativně řečeno, Layer2, která konkrétně poskytuje úložiště dat DA vrstvy pro určitý veřejný řetězec, interaguje s daty prostřednictvím interních sdílených uzlů I když to snižuje náklady na interakci a zlepšuje zabezpečení, má poměrně velká omezení a může poskytovat data pouze konkrétní veřejnosti řetězce poskytují služby.

4. Řešení ukládání vrstvy DA

4.1 Hlavní řetěz DA

4.1.1 Třída DankSharding

Tento typ úložného řešení zatím nemá jednoznačný název a nejvýraznějším zástupcem je DankSharding na Ethereu, takže tento článek používá k označení tohoto typu řešení třídu DankSharding. Tento typ řešení využívá především dvě výše uvedené technologie úložiště DA, Sharding a DAS. Nejprve jsou data rozdělena do příslušných sdílení pomocí Sharding a poté každý uzel extrahuje blok dat ve formě DAS pro uložení. Pokud je v celé síti dostatek uzlů, můžeme zvolit větší počet úlomků N, takže skladovací tlak každého uzlu je pouze 1/N originálu, čímž dosáhneme N-násobku rozšíření celkového úložného prostoru. Aby se zároveň předešlo extrémní situaci, kdy určitý Blok není uložen v žádném bloku, DankSharding data zakóduje pomocí Eraser Code a pouze polovinu dat lze zcela obnovit. Posledním krokem je proces ověřování dat, který využívá stromovou strukturu Verkle a polynomiální závazek k dosažení rychlého ověření.

4.1.2 Krátkodobé skladování

Pro DA hlavního řetězce je jednou z nejjednodušších metod zpracování dat ukládání historických dat v krátkodobém horizontu. Blockchain v podstatě hraje roli veřejné účetní knihy, která umožňuje, aby změny obsahu účetní knihy byly svědky celé sítě, aniž by bylo potřeba trvalé úložiště. Vezměme si jako příklad Solana, ačkoli jeho historická data jsou synchronizována s Arweave, hlavní síťový uzel uchovává pouze transakční data za poslední dva dny. Ve veřejném řetězci založeném na záznamech o účtu si historická data v každém okamžiku uchovávají konečný stav účtu na blockchainu, což je dostatečné k tomu, aby poskytlo ověřovací základ pro změny v příštím okamžiku. U projektů, které mají speciální potřeby pro data před tímto obdobím, si je mohou uložit sami v jiných decentralizovaných veřejných řetězcích nebo u důvěryhodné třetí strany. Jinými slovy, ti, kteří potřebují další data, musí platit za ukládání historických dat.

4.2 DA třetí strany

4.2.1 DA specifický pro hlavní řetězec: EthStorage

  • DA specifické pro hlavní řetězec: Nejdůležitější věcí na vrstvě DA je zabezpečení přenosu dat Nejbezpečnější je v tomto bodě DA hlavního řetězce. Úložiště hlavního řetězce však podléhá omezením úložného prostoru a konkurenci o zdroje. Proto, když množství síťových dat rychle roste, bude DA třetí strany lepší volbou, pokud má být dosaženo dlouhodobého ukládání dat. Pokud má DA třetí strany vyšší kompatibilitu s hlavní sítí, může realizovat sdílení uzlů a také bude mít vyšší zabezpečení během procesu interakce s daty. Proto, za předpokladu zvážení bezpečnosti, bude mít hlavní řetězec specifický DA obrovské výhody. Vezměme si jako příklad Ethereum, základním požadavkem na DA pro hlavní řetězec je být kompatibilní s EVM a zajistit interoperabilitu s daty a smlouvami Ethereum Mezi reprezentativní projekty patří Topia, EthStorage atd. Mezi nimi je EthStorage v současnosti z hlediska kompatibility nejrozvinutější, protože kromě kompatibility na úrovni EVM má také speciálně nastavená příslušná rozhraní pro propojení s vývojovými nástroji Ethereum, jako jsou Remix a Hardhat, aby bylo dosaženo kompatibility na Úroveň vývojového nástroje Ethereum.

  • EthStorage: EthStorage je veřejný řetězec nezávislý na Ethereu, ale uzly na něm běžící jsou nadřazené uzlům Ethereum, to znamená, že uzly provozující EthStorage mohou současně provozovat Ethereum EthStorage provádí operace. V modelu úložiště EthStorage je na hlavní síti Ethereum uchováváno pouze malé množství metadat pro indexování, což v podstatě vytváří decentralizovanou databázi pro Ethereum. V současném řešení EthStorage implementuje interakci mezi hlavní sítí Ethereum a EthStorage nasazením smlouvy EthStorage na hlavní síť Ethereum. Pokud chce Ethereum ukládat data, musí ve smlouvě zavolat funkci put() Vstupními parametry jsou dvoubajtové proměnné key and data, kde data představují data, která mají být uložena, a klíč je jejich umístění v síti Ethereum. Identifikaci lze považovat za podobnou existenci CID v IPFS. Poté, co je datový pár (klíč, data) úspěšně uložen v síti EthStorage, EthStorage vygeneruje kvldx a vrátí jej do hlavní sítě Ethereum a odpovídá klíči na Ethereu. Tato hodnota odpovídá adrese úložiště dat EthStorage, takže je to původně možné Problém potřeby ukládat velké množství dat se nyní stává ukládáním jednoho (klíč, kvldx) páru, čímž se výrazně snižují náklady na úložiště Ethereum mainnetu. Pokud potřebujete volat dříve uložená data, musíte použít funkci get() v EthStorage a zadat parametr key Data na EthStorage můžete rychle vyhledat prostřednictvím kvldx uložených v Ethereu.

Smlouva EthStorage, zdroj obrázku: Kernel Ventures

  • Pokud jde o to, jak uzly konkrétně ukládají data, EthStorage čerpá z modelu Arweave. Za prvé, velké množství (k, v) párů z ETH obsahuje pevný počet (k, v) párů dat. Existuje také limit na konkrétní velikost každého (k, v) páru. Tímto způsobem je zajištěna spravedlivost následné pracovní zátěže pro těžaře v procesu odměny za skladování. Pro výdej odměn je nutné nejprve ověřit, zda uzel uchovává data. Během tohoto procesu EthStorage rozdělí Sharding (velikost na úrovni TB) na mnoho částí a ponechá kořen Merkle v hlavní síti Ethereum pro ověření. Poté musí těžař nejprve poskytnout nonce pro generování adres několika částí pomocí náhodného algoritmu s hashem předchozího bloku na EthStorage. Miner musí poskytnout data těchto částí, aby dokázal, že skutečně ukládá celý Sharding. Tuto nonce ale nelze vybrat libovolně, jinak si uzel vybere vhodnou nonce, která odpovídá pouze jeho uloženému chunku a projde ověřením. Proto musí být tato nonce taková, aby hodnota obtížnosti vygenerovaného chunku po smíchání vyhovovala požadavkům sítě a hašování a pouze první uzel, který předloží důkaz o nonce a náhodném přístupu, může získat odměnu.

4.2.2 Modulární DA: Celestia

  • Modul blockchain: V této fázi jsou transakce, které musí veřejný řetězec vrstvy 1 provést, rozděleny především do následujících čtyř částí: (1) Navrhněte základní logiku sítě, vyberte ověřovací uzly určitým způsobem, zapište bloky a přidělte je. odměny pro správce sítě; (2) Zabalit a zpracovat transakce a zveřejnit související transakce (3) Ověřit transakce, které mají být nahrány do řetězce, a určit konečný stav; Podle různých dokončených funkcí můžeme blockchain rozdělit do čtyř modulů, a to konsensuální vrstva, realizační vrstva, zúčtovací vrstva a vrstva dostupnosti dat (DA vrstva).

  • Modulární blockchain design: Po dlouhou dobu byly tyto čtyři moduly integrovány do veřejného řetězce. Tato forma je stabilnější a snáze se udržuje, ale zároveň vytváří obrovský tlak na jeden veřejný řetězec. Během skutečného provozu se tyto čtyři moduly navzájem omezují a soutěží o omezené výpočetní a úložné zdroje veřejného řetězce. Například pro zvýšení rychlosti zpracování procesní vrstvy to přinese větší úložný tlak na vrstvu dostupnosti dat, aby byla zajištěna bezpečnost prováděcí vrstvy, je vyžadován složitější ověřovací mechanismus, ale zpomaluje rychlost zpracování transakcí. Proto vývoj veřejných řetězců často naráží na kompromisy mezi těmito čtyřmi moduly. Vývojáři navrhli modulární řešení blockchainu, aby prolomili úzké hrdlo zlepšování výkonu veřejného řetězce. Základní myšlenkou modulárního blockchainu je oddělit jeden nebo více ze čtyř výše uvedených modulů a implementovat je do samostatného veřejného řetězce. Tímto způsobem se veřejný řetězec může soustředit pouze na zlepšení rychlosti transakcí nebo kapacity úložiště a prolomit předchozí omezení celkového výkonu blockchainu kvůli nedostatkům.

  • Modulární DA: Komplexní metoda oddělení DA vrstvy od blockchainového byznysu a její předání veřejnému řetězci je považována za proveditelné řešení rostoucích historických dat Layer1. Průzkum v této oblasti je v této fázi stále v rané fázi a nejreprezentativnějším projektem současnosti je Celestia. Pokud jde o konkrétní metodu ukládání, Celestia čerpá z metody ukládání Danksharding, která také rozděluje data do více bloků a každý uzel extrahuje část pro uložení a používá KZG polynomiální závazek k ověření integrity dat. Celestia zároveň využívá pokročilý dvourozměrný RS mazací kód k přepsání původních dat do podoby matice k*k Nakonec lze obnovit pouze 25 % původních dat. Úložiště datového shardingu však v podstatě pouze násobí úložný tlak celého síťového uzlu koeficientem celkového objemu dat Úložný tlak uzlu a objem dat si stále udržují lineární růst. Vzhledem k tomu, že vrstva 1 pokračuje ve zlepšování své transakční rychlosti, může úložný tlak uzlů jednoho dne stále dosáhnout nepřijatelné kritické úrovně. Za účelem vyřešení tohoto problému je v Celestii zavedena komponenta IPLD ke zpracování. Data v matici k*k nejsou uložena přímo na Celestii, ale jsou uložena v síti LL-IPFS a v uzlu je uchováván pouze CID kód dat na IPFS. Když uživatel požaduje část historických dat, uzel odešle odpovídající CID komponentě IPLD a původní data budou volána na IPFS prostřednictvím tohoto CID. Pokud data na IPFS existují, budou vrácena prostřednictvím komponenty a uzlu IPLD, pokud neexistují, data nelze vrátit.

Metoda čtení dat Celestia, zdroj obrázku: Celestia Core

  • Celestia: Vezmeme-li Celestii jako příklad, můžeme nahlédnout do aplikace modulárního blockchainu při řešení problému úložiště Ethereum. Uzel Rollup odešle zabalená a ověřená data transakce do Celestia a uloží data na Celestia Během tohoto procesu bude Celestia data pouze ukládat bez nadměrného povědomí. Nakonec bude uzel Rollup rolován podle velikosti úložného prostoru. Odpovídající tia tokeny budou zaplaceny Celestii jako poplatky za uložení. Úložiště v Celstia využívá kódy DAS a výmazu podobné těm v EIP4844, ale kódy polynomického výmazu v EIP4844 jsou upgradovány a k opětovnému vylepšení zabezpečení úložiště se používají pouze dvourozměrné kódy výmazu RS. Pouze 25 % zlomů dokáže obnovit celá data transakce. Je to v podstatě jen veřejný řetězec POS s nízkými náklady na úložiště Pokud má být implementován pro vyřešení problému ukládání historických dat Etherea, je zapotřebí mnoho dalších specifických modulů pro spolupráci s Celestií. Například pokud jde o kumulaci, režim kumulace vysoce doporučený na oficiálních stránkách Celestia je Sovereign Rollup. Na rozdíl od běžného Rollup na vrstvě 2 se transakce pouze vypočítávají a ověřují, to znamená, že operace prováděcí vrstvy jsou dokončeny. Sovereign Rollup zahrnuje celý proces provádění a vypořádání, který minimalizuje zpracování transakcí na Celestii Když je celkové zabezpečení Celestie slabší než Ethereum, může toto opatření maximalizovat bezpečnost celého transakčního procesu. Pokud jde o zajištění bezpečnosti dat nazvaných Celestia, hlavní síť Etherea, je v současnosti nejmainstreamovějším řešením smart kontrakt kvantového gravitačního mostu. Pro data uložená na Celestii vygeneruje Merkle Root (důkaz o dostupnosti dat) a uchová je na kontraktu kvantového gravitačního mostu hlavní sítě Ethereum Pokaždé, když Ethereum zavolá historická data na Celestii, bude porovnán její výsledek hash s Merkle Root se používá pro srovnání, a pokud se shoduje, znamená to, že jde skutečně o skutečná historická data.

4.2.3 Ukládání veřejného řetězce DA

Pokud jde o technické principy hlavního řetězce DA, mnoho technologií podobných Shardingu je vypůjčeno z veřejného řetězce úložiště. Mezi externími poskytovateli dat někteří přímo využívají úložný veřejný řetězec k dokončení některých úloh úložiště, například konkrétní transakční data v Celestia jsou umístěna v síti LL-IPFS. V řešení DA třetí strany je kromě vybudování samostatného veřejného řetězce pro vyřešení problému úložiště vrstvy 1 přímějším způsobem přímé propojení veřejného řetězce úložiště s vrstvou 1, aby se na vrstvě 1 ukládala obrovská historická data. U vysoce výkonných blockchainů je objem historických dat ještě větší Při plné rychlosti se datový objem výkonného veřejného řetězce Solana blíží 4 PG, což je zcela mimo dosah běžných uzlů. Řešení, které Solana zvolila, je ukládat historická data na decentralizované úložné síti Arweave a uchovávat pouze 2 dny dat na hlavních síťových uzlech pro ověření. Aby byla zajištěna bezpečnost uloženého procesu, Solana a Arweave Chain speciálně navrhli protokol storage bridge Solar Bridge. Data ověřená uzlem Solana budou synchronizována s Arweave a bude vrácena odpovídající značka. Právě prostřednictvím této značky může uzel Solana kdykoli zobrazit historická data blockchainu Solana. Na Arweave není potřeba, aby všechny síťové uzly udržovaly konzistenci dat a používali ji jako práh pro účast v síťovém provozu. Místo toho se používá úložiště odměn. Za prvé, Arweave nepoužívá ke stavbě bloků tradiční řetězovou strukturu, ale podobá se spíše grafové struktuře. V Arweave bude nový blok nejen ukazovat na předchozí blok, ale také náhodně ukazovat na vygenerovaný blok Recall Block. Konkrétní umístění Vyvolávacího bloku je určeno výsledkem hash jeho předchozího bloku a jeho výška bloku je neznámá, dokud není předchozí blok vytěžen. V procesu generování nového bloku však uzel potřebuje mít data Recall Block, aby mohl použít mechanismus POW k výpočtu hashe zadané obtížnosti, pouze první těžař, který vypočítá hash splňující obtížnost, může získat odměnu. což nabádá těžaře k tomu, aby uchovávali co nejvíce historických dat. Zároveň platí, že čím méně lidí ukládá určitý historický blok, tím méně konkurentů budou mít uzly při generování nonců, které splňují danou obtížnost, což podněcuje těžaře k ukládání méně bloků v síti.A konečně, aby bylo zajištěno, že uzly trvale ukládají data v Arweave, zavádí mechanismus hodnocení uzlů WildFire. Uzly budou mít tendenci komunikovat s uzly, které dokážou poskytnout více historických dat, rychleji, zatímco uzly s nižším hodnocením často nejsou schopny získat nejnovější data o blocích a transakcích co nejdříve, a proto nemohou využít konkurenční POW.

Metoda výstavby bloků Arweave, zdroj obrázku: Arweave Yellow-Paper

5. Komplexní srovnání

Dále porovnáme výhody a nevýhody pěti řešení úložiště na základě čtyř dimenzí ukazatelů výkonu DA.

  • Bezpečnost: Největším zdrojem problémů s bezpečností dat je ztráta způsobená během procesu přenosu dat a zákeřná manipulace ze strany nepoctivých uzlů V cross-chain procesu je bezpečnost přenosu dat vzhledem k nezávislosti a postavení dvou veřejných řetězců velmi důležité z nejhůře zasažených oblastí. Vrstva 1, která v současnosti vyžaduje vyhrazenou vrstvu DA, má navíc často silnou konsensuální skupinu a její vlastní bezpečnost bude mnohem vyšší než u běžných veřejných řetězců úložiště. Proto má hlavní řetězec DA řešení vyšší bezpečnost. Po zajištění bezpečnosti datového přenosu je dalším krokem zajištění bezpečnosti volajících dat. Pokud se berou v úvahu pouze krátkodobá historická data použitá k ověření transakcí, jsou stejná data zálohována celou sítí v síti dočasného úložiště. V řešení podobném DankSharding je průměrný počet záloh dat pouze 1/N počet uzlů v celé síti, větší redundance dat může snížit pravděpodobnost ztráty dat a může také poskytnout více referenčních vzorků během ověřování. Proto bude mít dočasné úložiště relativně vyšší bezpečnost dat. V řešení DA třetí strany používá hlavní DA specifický pro hlavní řetězec veřejné uzly s hlavním řetězcem a data mohou být přímo přenášena přes tyto přenosové uzly během procesu cross-chain, takže bude mít také relativně vyšší zabezpečení než ostatní DA. řešení.

  • Náklady na úložiště: Největším faktorem ovlivňujícím náklady na úložiště je množství redundance dat. V řešení krátkodobého úložiště hlavního řetězce DA se ukládá formou synchronizace dat celých uzlů sítě Případná nově uložená data je potřeba zálohovat v celých uzlech sítě, což má nejvyšší náklady na úložiště. Vysoké náklady na úložiště zase určují, že tato metoda je vhodná pouze pro dočasné úložiště v sítích s vysokým TPS. Druhým je způsob ukládání Sharding, včetně Sharding v hlavním řetězci a Sharding v DA třetí strany. Protože hlavní řetězec má často více uzlů, odpovídající blok bude mít také více záloh, takže řešení Sharding hlavního řetězce bude mít vyšší náklady. Nejnižší náklady na úložiště má veřejný řetězec úložiště DA, který využívá metodu úložiště s odměnou V tomto schématu množství redundance dat často kolísá kolem pevné konstanty. Současně je ve veřejném řetězci úložiště DA zaveden dynamický přizpůsobovací mechanismus, který přiláká uzly k ukládání méně zálohovaných dat zvýšením odměn pro zajištění bezpečnosti dat.

  • Rychlost čtení dat: Rychlost ukládání dat je ovlivněna především umístěním dat v úložném prostoru, cestou indexu dat a rozložením dat v uzlech. Mezi nimi umístění úložiště dat v uzlu má větší vliv na rychlost, protože ukládání dat do paměti nebo SSD může způsobit, že se rychlost čtení bude lišit v desítkáchkrát. Úložiště veřejného řetězce DA většinou využívá úložiště SSD, protože zatížení tohoto řetězce zahrnuje nejen data vrstvy DA, ale také osobní data s vysokým využitím paměti, jako jsou videa a obrázky nahrané uživateli. Pokud síť nevyužívá SSD jako úložný prostor, bude obtížné unést obrovský úložný tlak a splnit dlouhodobé požadavky na úložiště. Za druhé, pro externí DA a DA hlavního řetězce, které používají paměť k ukládání dat, musí DA třetí strany nejprve vyhledat odpovídající data indexu v hlavním řetězci a poté přenést data indexu napříč řetězcem do třetího -party DA a vraťte jej přes data storage bridge. Naproti tomu DA hlavního řetězce může přímo dotazovat data z uzlů, a proto má rychlejší načítání dat. A konečně, v rámci hlavního řetězce DA metoda Sharding vyžaduje volání Block z více uzlů a obnovení původních dat. Ve srovnání s krátkodobým úložištěm bez fragmentovaného úložiště bude proto rychlost nižší.

  • Univerzálnost DA vrstvy: Univerzálnost DA hlavního řetězce se blíží nule, protože není možné přenést data na veřejném řetězci s nedostatečným úložným prostorem do jiného veřejného řetězce s nedostatečným úložným prostorem. V DA třetích stran jsou všestrannost řešení a jeho kompatibilita s konkrétním hlavním řetězcem protichůdnými ukazateli. Například v řešení DA specifickém pro hlavní řetězec, navrženém pro určitý hlavní řetězec, bylo provedeno mnoho vylepšení na úrovni typu uzlu a na úrovni konsensu sítě, aby se přizpůsobily veřejnému řetězci, a proto budou tato vylepšení hrát roli při komunikaci s jinými veřejnými řetězci obrovskou překážkou. V rámci DA třetí strany ve srovnání s modulárním DA funguje DA veřejného řetězce úložiště z hlediska všestrannosti lépe. Veřejný úložný řetězec DA má větší komunitu vývojářů a více rozšiřujících zařízení, která se mohou přizpůsobit podmínkám různých veřejných řetězců. Veřejné úložiště DA zároveň získává data aktivněji prostřednictvím zachycování paketů, spíše než pasivně přijímá informace přenášené z jiných veřejných řetězců. Proto může kódovat data svým vlastním způsobem, dosáhnout standardizovaného ukládání datových toků, usnadnit správu datových informací z různých hlavních řetězců a zlepšit efektivitu ukládání.

Porovnání výkonu řešení úložiště, zdroj obrázku: Kernel Ventures

6. Shrnutí

Současný blockchain prochází transformací z Crypto na inkluzivnější Web3 Tento proces přináší nejen bohatství projektů na blockchainu. Aby bylo možné pojmout simultánní provoz tolika projektů na vrstvě 1 a zároveň zajistit zkušenosti s projekty Gamefi a Socialfi, přijala vrstva 1 zastoupená společností Ethereum ke zlepšení TPS metody jako Rollup a Blobs. Mezi novými blockchainy roste i počet vysoce výkonných blockchainů. Vyšší TPS ale neznamená jen vyšší výkon, ale také větší tlak na úložiště v síti. Pro masivní historická data jsou v současné době navrženy různé metody DA založené na hlavním řetězci a třetích stranách, aby se přizpůsobily nárůstu skladovacího tlaku v řetězci. Každá metoda zlepšování má výhody a nevýhody a má různou použitelnost v různých situacích.

Blockchainy, které se zaměřují na platby, mají extrémně vysoké požadavky na bezpečnost historických dat a nesledují zvlášť vysoké TPS. Pokud je tento typ veřejného řetězce stále ve fázi příprav, lze použít metodu úložiště podobnou DankSharding, která může dosáhnout obrovského nárůstu úložné kapacity a zároveň zajistit bezpečnost. Pokud se však jedná o veřejný řetězec, jako je bitcoin, který již získal tvar a má velký počet uzlů, existují obrovská rizika v ukvapených vylepšeních na vrstvě konsensu, a proto hlavní řetězec vyhradil DA s vyšší bezpečností v mimořetězových úložištích lze použít k vyvážení problémů se zabezpečením a úložištěm. Ale stojí za zmínku, že funkce blockchainu nejsou statické, ale neustále se mění. Například rané funkce Etherea se omezovaly hlavně na platby a jednoduché automatizované zpracování aktiv a transakcí pomocí chytrých kontraktů. Nicméně, jak se blockchainová krajina stále rozšiřuje, postupně se do Etherea rozvíjejí různé projekty Socialfi a Defi komplexnějším směrem. V poslední době, s explozí nápisu ekologie na bitcoinu, stouply transakční poplatky bitcoinové sítě od srpna téměř 20krát, což odráží, že transakční rychlost bitcoinové sítě v této fázi nemůže uspokojit transakční poptávku a pouze obchodníci Díky zvýšení poplatků jsou transakce zpracovány co nejrychleji. Nyní musí bitcoinová komunita udělat kompromis, ať už přijme vysoké poplatky a pomalou rychlost transakcí, nebo sníží zabezpečení sítě, aby rychlost transakcí zvýšila, ale zmařila původní záměr platebního systému. Pokud se bitcoinová komunita rozhodne pro to druhé, bude nutné vzhledem k rostoucímu datovému tlaku upravit i odpovídající řešení úložiště.

Poplatky za bitcoinové mainnetové transakce kolísají, zdroj obrázku: OKLINK

U veřejných řetězců s komplexními funkcemi mají vyšší snahu o TPS a růst historických dat je ještě větší Je obtížné se dlouhodobě přizpůsobit rychlému růstu TPS přijetím řešení podobného DankShardingu. Vhodnějším způsobem je tedy migrace dat na externího DA pro uložení. Mezi nimi má hlavní řetězec specifický DA nejvyšší kompatibilitu a může mít více výhod, pokud se berou v úvahu pouze problémy s úložištěm jednoho veřejného řetězce. Ale dnes, kdy veřejné řetězce na 1. vrstvě vzkvétají, se přenos aktiv napříč řetězci a interakce dat staly běžnou činností blockchainové komunity. Pokud se vezme v úvahu dlouhodobý vývoj celého blockchainového ekosystému, ukládání historických dat různých veřejných řetězců do stejného veřejného řetězce může eliminovat mnoho bezpečnostních problémů v procesu výměny a ověřování dat. Proto je rozdíl mezi modulárním DA a úložištěm veřejný řetězec DA způsob by mohl být lepší volbou. Za předpokladu úzké všestrannosti se modulární DA zaměřuje na poskytování služeb vrstvy blockchain DA, zavádí propracovanější historická data správy indexových dat, která mohou rozumně klasifikovat různá data veřejného řetězce a ukládat data veřejného řetězce. Má více výhod než. Výše uvedené řešení však nezohledňuje náklady na úpravu konsensuální vrstvy na stávajícím veřejném řetězci. Tento proces je extrémně riskantní, jakmile se objeví problémy, může vést k systémové zranitelnosti a způsobit ztrátu konsenzu komunity. Pokud se tedy jedná o přechodné řešení během procesu expanze blockchainu, může být vhodnější nejjednodušší dočasné uložení hlavního řetězce. Konečně, výše uvedená diskuse je založena na výkonu při skutečném provozu, pokud je však cílem určitého veřejného řetězce rozvíjet vlastní ekologii a přilákat více projektových účastníků a účastníků, může preferovat i projekty, které jsou podporovány a financovány z vlastních zdrojů. nadace . Pokud je například celkový výkon ekvivalentní nebo dokonce mírně nižší než u řešení pro ukládání veřejných řetězců, bude komunita Ethereum také inklinovat k projektům na druhé vrstvě podporovaným nadací Ethereum, jako je EthStorage, aby pokračovaly v rozvoji ekosystému Ethereum.

Suma sumárum, funkce dnešního blockchainu jsou stále složitější, což přináší i větší nároky na úložný prostor. Když je dostatek ověřovacích uzlů vrstvy 1, nemusí být historická data zálohována všemi uzly v celé síti Pouze v případě, že počet záloh dosáhne určité hodnoty, lze zaručit relativní bezpečnost. Zároveň se stále více zpřesňovala dělba práce ve veřejném řetězci Layer1 je zodpovědná za konsensus a provádění, Rollup je zodpovědný za výpočet a ověřování a pro ukládání dat se používá samostatný blockchain. Každá část se může zaměřit na určitou funkci, aniž by byla omezena výkonem ostatních částí. Nicméně, kolik ukládat nebo jaký podíl uzlů ukládat historická data může dosáhnout rovnováhy mezi bezpečností a efektivitou a jak zajistit bezpečnou interoperabilitu mezi různými blockchainy To vyžaduje, aby vývojáři blockchainu přemýšleli a pokračovali. Pro investory můžete věnovat pozornost hlavnímu řetězci specifickému projektu DA na Ethereu, protože Ethereum má v této fázi již dostatek příznivců a nemusí se spoléhat na další komunity, aby rozšířily svůj vliv. Co je více potřeba, je zlepšit a rozvíjet svou vlastní komunitu a přilákat více projektů do ekosystému Ethereum. U veřejných řetězců v pozici dohánění, jako jsou Solana a Aptos, však samotný jediný řetězec nemá tak kompletní ekologii, takže může být více nakloněno spojit síly s jinými komunitami a vybudovat obrovskou ekologii napříč řetězci. rozšířit vliv. U vznikající vrstvy 1 si proto obecný DA třetích stran zaslouží více pozornosti.

Kernel Ventures je kryptofond rizikového kapitálu vedený výzkumnou a vývojovou komunitou s více než 70 počátečními investicemi zaměřenými na infrastrukturu, middleware, dApps, zejména ZK, Rollup, DEX, modulární blockchainy a onboarding Vertikální oblasti pro miliardy uživatelů kryptoměn v budoucnost, jako je abstrakce účtu, dostupnost dat, škálovatelnost atd. Posledních sedm let jsme se zavázali podporovat růst klíčových vývojových komunit a univerzitních blockchainových asociací po celém světě.

Reference

  1. Celestia: Hvězdné moře modulárního blockchainu: https://foresightnews.pro/article/detail/15497

  2. Využití DHT a budoucí práce：https://github.com/celestiaorg/celestia-node/issues/11

  3. Celestia-core: https://github.com/celestiaorg/celestia-core

  4. Laboratoře Solana：https://github.com/solana-labs/solana?source=post_page-----cf47a61a9274------------------------- --------

  5. Oznamujeme SOLAR Bridge： https://medium.com/solana-labs/announcing-the-solar-bridge-c90718a49fa2

  6. leveldb-handbook：https://leveldb-handbook.readthedocs.io/zh/latest/sstable.html

  7. Kuszmaul J. Verkle stromy[J]. Verkle Trees, 2019, 1: 1.：https://math.mit.edu/research/highschool/primes/materials/2018/Kuszmaul.pdf

  8. Oficiální stránky Arweave: https://www.arweave.org/

  9. Arweave Yellow Paper: https://www.arweave.org/yellow-paper.pdf