Wir führen Walrus ein, einen dritten Ansatz für dezentrale Blob-Speicherung. Er kombiniert schnelle, linear decodierbare Fehlerkorrektur-Codes, die sich auf Hunderte von Speicherknoten skalieren lassen, um extrem hohe Robustheit bei geringem Speicheroverhead zu erreichen; und nutzt eine moderne Blockchain, Sui, für ihre Steuerungsebene – von der Lebenszyklusverwaltung der Speicherknoten bis hin zur Lebenszyklusverwaltung der Blobs, sowie für Wirtschaft und Anreize – wodurch der Bedarf an einer vollständig eigenen Blockchain-Protokoll entfällt.
Im Kern von Walrus liegt ein neues Kodierungsprotokoll namens Red Stuff, das einen neuartigen zweidimensionalen (2D) Kodierungsalgorithmus basierend auf Fountain-Codes verwendet.
auf einem Fountain-Codes. Im Gegensatz zu RS-Codes stützen sich Fountain-Codes hauptsächlich auf XOR oder andere sehr schnelle Operationen über große Datenblöcke, wodurch komplexe mathematische Berechnungen vermieden werden.
hauptsächlich auf XOR oder andere sehr schnelle Operationen über große Datenblöcke, wodurch komplexe mathematische
Operationen. Diese Einfachheit ermöglicht die Kodierung großer Dateien in einem einzigen Durchlauf, was zu einer erheblich
schnellere Verarbeitung ermöglicht. Die 2D-Kodierung von Red Stuff ermöglicht die Wiederherstellung verlorener Slivers unter Verwendung von Bandbreite
proportional zur Menge der verlorenen Daten (O(|blob|) in unserem Fall). Darüber hinaus integriert Red Stuff automatische
authentifizierte Datenstrukturen, um sich gegen böswillige Clients zu schützen und sicherzustellen, dass die gespeicherten und abgerufenen Daten konsistent bleiben.
Walrus arbeitet in Epochen, wobei jede von einem Ausschuss von Speicherknoten verwaltet wird. Alle Operationen innerhalb einer Epochen können nach BlobID shardet werden, was hohe Skalierbarkeit ermöglicht. Das System unterstützt das Schreiben von Blobs durch Kodierung der Daten in primäre und sekundäre Slivers, Erzeugung von Merkle-Verpflichtungen und Verteilung dieser Slivers über Speicherknoten. Der Lesevorgang umfasst die Sammlung und Überprüfung von Slivers, wobei sowohl best-effort- als auch incentivisierte Wege zur Bewältigung möglicher Systemausfälle zur Verfügung stehen. Um eine unterbrechungsfreie Verfügbarkeit sowohl zum Schreiben als auch zum Lesen von Blobs zu gewährleisten, während der natürlich auftretende Churn in einem permissionlosen System berücksichtigt wird, verfügt Walrus über ein effizientes Protokoll zur Rekonfiguration des Ausschusses.
Ein weiterer zentraler Innovationspunkt in Walrus ist der Ansatz zur Speicherprüfung, die Mechanismen zur Überprüfung, ob Speicherknoten tatsächlich die Daten speichern, die sie behaupten. Walrus löst die Skalierbarkeitsproblematik dieser Prüfungen, indem alle Speicherknoten dazu angeregt werden, Slivers aller gespeicherten Dateien zu halten. Diese vollständige Replikation ermöglicht ein neues Speicherbestätigungsmechanismus, der den Speicherknoten als Ganzes herausfordert, anstatt jede Datei einzeln. Dadurch skaliert die Kosten für die Nachweisführung der Dateispeicherung logarithmisch mit der Anzahl der gespeicherten Dateien, im Gegensatz zur derzeitigen linearen Skalierung in vielen bestehenden Systemen.
Schließlich führen wir ebenfalls ein wirtschaftliches Modell basierend auf Staking ein, mit Belohnungen und Strafen, um Anreize auszurichten und langfristige Verpflichtungen durchzusetzen. Das System beinhaltet eine Preismechanismus für Speicherressourcen und Schreiboperationen, ergänzt durch ein Token-Governance-Modell zur Anpassung von Parametern.
Zusammenfassend stellen wir folgende Beiträge vor:
• Wir definieren das Problem der asynchronen vollständigen Datenteilung und schlagen Red Stuff als erstes Protokoll vor, das es effizient löst, selbst unter Byzantinischen Fehlern
• Wir präsentieren Walrus, das erste permissionlose dezentrale Speicherprotokoll, das für einen niedrigen Replikationskosten und die effiziente Wiederherstellung verlorener Daten aufgrund von Fehlern oder Teilnehmerwechsel ausgelegt ist
• Wir erweitern Walrus um ein wirtschaftliches Modell basierend auf Staking, mit Belohnungen und Strafen, um Anreize auszurichten und langfristige Verpflichtungen durchzusetzen, sowie schlagen das erste asynchrone Herausforderungsprotokoll vor, das effiziente Speicherprüfungen ermöglicht
2 Modelle und Definitionen
Walrus basiert auf folgenden Annahmen.
Kryptographische Annahmen. Im gesamten Papier verwenden wir hash() zur Bezeichnung einer kollisionsresistenten Hash-Funktion. Wir nehmen außerdem die Existenz sicherer digitale Signaturen und bindender Verpflichtungen an.
