去中心化存儲:從概念炒作到實用落地的演進之路

存儲曾是區塊鏈行業的熱門賽道之一。FIL作爲上輪牛市的龍頭項目,市值一度超過100億美元。Arweave以永久存儲爲賣點,最高市值達35億美元。然而隨着冷數據存儲的可用性受到質疑,去中心化存儲的發展前景蒙上陰影。直到Walrus的出現重新引發關注,而Aptos與Jump Crypto推出的Shelby項目更是將熱數據存儲推向新高度。本文將通過分析FIL、Arweave、Walrus和Shelby四個項目的發展路線,探討去中心化存儲的演進歷程,並嘗試回答這個問題:去中心化存儲真正普及還需多久?

FIL:存儲之名,挖礦之實

FIL是較早崛起的區塊鏈項目之一,其發展方向圍繞去中心化展開。FIL將存儲與去中心化結合,提出了對中心化數據存儲服務商的信任問題。然而,爲實現去中心化而做出的犧牲,也成爲後來Arweave和Walrus等項目試圖解決的痛點。要理解爲何FIL實質上是一個礦幣,需要了解其底層技術FIL在熱數據處理上的客觀局限。

FIL:去中心化架構的傳輸瓶頸

FIL(星際文件系統)於2015年左右問世,旨在通過內容尋址來革新傳統HTTP協議。但FIL最大的弊端是獲取速度極慢。在傳統數據服務可達毫秒級響應的今天,FIL獲取一個文件仍需十幾秒,這嚴重限制了其實際應用推廣。

FIL底層的P2P協議主要適用於"冷數據",即不常變動的靜態內容如視頻、圖片和文檔等。但在處理動態網頁、在線遊戲或人工智能應用等熱數據方面,P2P協議相比傳統CDN並無明顯優勢。

盡管FIL本身不是區塊鏈,但其採用的有向無環圖(DAG)設計與許多公鏈及Web3協議高度契合,使其天然適合作爲區塊鏈的底層構建框架。因此即使缺乏實用價值,作爲承載區塊鏈敘事的底層框架已經足夠。早期項目只需一個可運行的框架就能開啓宏偉藍圖,但隨着FIL的發展,FIL帶來的局限性開始阻礙其前進。

存儲外衣下的礦幣邏輯

FIL最初設想用戶在存儲數據的同時也能成爲存儲網路的一部分。但在缺乏經濟激勵的情況下,用戶很難主動參與這套系統,更不用說成爲活躍的存儲節點。這意味着大多數人只會將文件存到FIL上,而不會貢獻自己的存儲空間或存儲他人文件。正是在這樣的背景下,FIL應運而生。

FIL的代幣經濟模型主要包括三個角色:用戶支付費用存儲數據;存儲礦工因存儲用戶數據獲得代幣獎勵;檢索礦工在用戶需要時提供數據並獲取獎勵。

這種模型存在潛在的作弊空間。存儲礦工可能在提供存儲空間後,填充垃圾數據以獲取獎勵。由於這些垃圾數據不會被檢索,即便丟失也不會觸發懲罰機制。這使得存儲礦工可以刪除垃圾數據並重復此過程。FIL的復制證明共識只能確保用戶數據未被私自刪除,卻無法阻止礦工填充垃圾數據。

FIL的運作在很大程度上依賴礦工對代幣經濟的持續投入,而非基於終端用戶對分布式存儲的真實需求。盡管項目仍在不斷迭代,但目前階段,FIL的生態構建更符合"礦幣邏輯"而非"應用驅動"的存儲項目定義。

Arweave:長期主義的得與失

如果說FIL的目標是構建一個可激勵、可驗證的去中心化"數據雲"外殼,那麼Arweave則在存儲領域走向另一個極端:爲數據提供永久存儲能力。Arweave並不試圖打造分布式計算平台,其整個系統圍繞一個核心假設展開 - 重要數據應該被一次性存儲,並永遠保存在網路中。這種極端的長期主義,使得Arweave從機制到激勵模型、從硬件需求到敘事角度都與FIL大相徑庭。

Arweave以比特幣爲學習對象,試圖在以年爲單位的長週期中不斷優化永久存儲網路。Arweave不在意市場營銷,也不關心競爭對手和市場趨勢。它只是專注於迭代網路架構,即使無人問津也不在意,因爲這正是Arweave開發團隊的本質:長期主義。得益於長期主義,Arweave在上個牛市受到追捧;也因爲長期主義,即使跌入低谷,Arweave仍可能度過幾輪牛熊。只是未來的去中心化存儲是否還有Arweave的一席之地?永久存儲的存在價值只能由時間來證明。

從1.5版本到最近的2.9版本,雖然Arweave已經失去市場關注度,但一直致力於讓更廣泛的礦工以最小成本參與網路,並激勵礦工最大限度存儲數據,不斷提升整個網路的健壯性。Arweave深知自己不符合市場偏好,因此採取保守路線,不擁抱礦工團體,生態發展完全停滯,以最小成本升級主網,在不損害網路安全的前提下,不斷降低硬件門檻。

1.5-2.9升級路徑回顧

Arweave 1.5版本暴露出礦工可依賴GPU堆疊而非真實存儲來優化出塊幾率的漏洞。爲遏制這一趨勢,1.7版本引入RandomX算法,限制使用專業化算力,要求通用CPU參與挖礦,從而削弱算力中心化。

2.0版本採用SPoA,將數據證明轉爲默克爾樹結構的簡潔路徑,並引入格式2交易減少同步負擔。這一架構緩解了網路帶寬壓力,顯著增強節點協同能力。然而,部分礦工仍可通過集中式高速存儲池策略規避真實數據持有責任。

爲糾正這一偏差,2.4版推出SPoRA機制,引入全局索引與慢哈希隨機訪問,要求礦工必須真實持有數據塊才能參與有效出塊,從機制上削弱算力堆疊效果。結果是,礦工開始關注存儲訪問速度,帶動SSD與高速讀寫設備應用。2.6版引入哈希鏈控制出塊節奏,平衡了高性能設備的邊際效益,爲中小礦工提供公平參與空間。

後續版本進一步強化網路協作能力與存儲多樣性:2.7增加協作式挖礦與礦池機制,提升小礦工競爭力;2.8推出復合打包機制,允許大容量低速設備靈活參與;2.9以replica_2_9格式引入新型打包流程,大幅提升效率並降低計算依賴,完成數據導向挖礦模型的閉環。

總體來看,Arweave的升級路徑清晰展現了其以存儲爲導向的長期策略:在不斷抵抗算力集中趨勢的同時,持續降低參與門檻,保證協議長期運行的可能性。

Walrus:熱數據存儲的炒作還是創新?

Walrus的設計思路與FIL和Arweave截然不同。FIL的出發點是打造一套去中心化可驗證的存儲系統,代價是冷數據存儲;Arweave的目標是構建一個可永久存儲數據的鏈上亞歷山大圖書館,代價是應用場景有限;而Walrus的核心是優化熱數據存儲的成本效率。

魔改糾刪碼:成本創新還是新瓶裝舊酒?

在存儲成本設計上,Walrus認爲FIL與Arweave的存儲開銷不合理。後兩者均採用完全復制架構,主要優勢在於每個節點都持有完整副本,具備較強的容錯能力與節點間獨立性。這種架構能保證即使部分節點離線,網路仍具備數據可用性。然而,這也意味着系統需要多副本冗餘以維持魯棒性,從而推高存儲成本。特別是在Arweave的設計中,共識機制本身就鼓勵節點冗餘存儲,以增強數據安全性。相比之下,FIL在成本控制上更具彈性,但代價是部分低成本存儲可能存在更高的數據丟失風險。Walrus試圖在兩者之間尋找平衡,其機制在控制復制成本的同時,通過結構化冗餘方式增強可用性,從而在數據可得性與成本效率之間建立新的折中路徑。

Walrus自創的Redstuff是降低節點冗餘的關鍵技術,它源自Reed-Solomon(RS)編碼。RS編碼是一種傳統的糾刪碼算法,可通過添加冗餘片段將數據集加倍,用於重建原始數據。從CD-ROM到衛星通信再到二維碼,它在日常生活中被廣泛應用。

糾刪碼允許用戶獲取一個數據塊(如1MB),然後將其"放大"到2MB,其中額外的1MB是特殊的糾刪碼數據。如果塊中的任何字節丟失,用戶可以通過代碼輕鬆恢復這些字節。即使多達1MB的數據丟失,仍可恢復整個塊。相同的技術使計算機能讀取受損CD-ROM中的所有數據。

目前最常用的是RS編碼。實現方式是從k個信息塊開始,構造相關多項式,並在不同x坐標處對其求值,以獲得編碼塊。使用RS糾刪碼,隨機採樣丟失大塊數據的可能性非常小。

舉例說明:將一個文件分成6個數據塊和4個校驗塊,共10份。只要保留其中任意6份,就能完整恢復原始數據。

優點:容錯能力強,被廣泛應用於CD/DVD、防故障硬盤陣列(RAID)以及雲存儲系統(如Azure Storage、Facebook F4)。

缺點:解碼計算復雜,開銷較高;不適合頻繁變動的數據場景。因此通常用於鏈下集中化環境中的數據恢復與調度。

在去中心化架構下,Storj和Sia對傳統RS編碼進行了調整以適應分布式網路的實際需求。Walrus也在此基礎上提出了自己的變種 - RedStuff編碼算法,以實現更低成本、更靈活的冗餘存儲機制。

Redstuff的最大特點是什麼?通過改進糾刪編碼算法,Walrus能夠快速且穩健地將非結構化數據塊編碼成較小的分片,這些分片會分布存儲在存儲節點網路中。即使多達三分之二的分片丟失,也可以使用部分分片快速重構原始數據塊。這在保持復制因子僅爲4倍至5倍的情況下成爲可能。

因此,將Walrus定義爲一個圍繞去中心化場景重新設計的輕量級冗餘與恢復協議是合理的。相較傳統糾刪碼(如Reed-Solomon),RedStuff不再追求嚴格的數學一致性,而是針對數據分布、存儲驗證和計算成本進行了現實主義的權衡。這種模式放棄了集中式調度所需的即時解碼機制,改爲通過鏈上Proof驗證節點是否存有特定數據副本,從而適應更動態、邊緣化的網路結構。

RedStuff的設計核心是將數據拆分爲主切片和次切片兩類:主切片用於恢復原始數據,其生成和分布受嚴格約束,恢復門檻爲f+1,且需2f+1的籤名作爲可用性背書;次切片則通過異或組合等簡單運算方式生成,作用是提供彈性容錯,提升整體系統魯棒性。這種結構本質上降低了對數據一致性的要求 - 允許不同節點短時存儲不同版本數據,強調"最終一致性"的實踐路徑。雖然與Arweave等系統中對回溯塊的寬松要求相似,在降低網路