Gate 廣場“新星計劃”正式上線!
開啟加密創作之旅,瓜分月度 $10,000 獎勵!
參與資格:從未在 Gate 廣場發帖,或連續 7 天未發帖的創作者
立即報名:https://www.gate.com/questionnaire/7396
您將獲得:
💰 1,000 USDT 月度創作獎池 + 首帖 $50 倉位體驗券
🔥 半月度「爆款王」:Gate 50U 精美周邊
⭐ 月度前 10「新星英雄榜」+ 粉絲達標榜單 + 精選帖曝光扶持
加入 Gate 廣場,贏獎勵 ,拿流量,建立個人影響力!
詳情:https://www.gate.com/announcements/article/49672
Sui gRPC 流式傳輸支持低延遲的檢查點索引和彈性的數據管道
Sui上的開發者現在可以利用sui grpc串流,構建更快速、更可靠的即時區塊鏈數據索引管道。
混合串流模型改變Sui數據存取方式
Sui區塊鏈已引入gRPC串流作為其索引基礎設施的主要數據來源,實現了具有最小延遲的即時檢查點攝取。此外,這個設計針對必須在數據完成後立即反應的應用程序。
該平台結合了串流能力與傳統輪詢方法,以維持數據的準確性和系統的韌性。這種混合模型允許即時存取已完成的檢查點,同時保持與已在Sui上部署的現有自訂索引器的向後相容性。
自訂索引框架支援這種以串流為先的架構,無需更改檢查點處理邏輯。然而,團隊仍可依賴現有的管道,同時在帶來實質好處的地方加入串流。
串流消除檢查點攝取的輪詢延遲
新的gRPC串流功能從根本上改變了索引器在Sui上接收區塊鏈數據的方式。全節點現在在完成最終確認後,立即將檢查點數據推送給索引器,而不是等待預定的抓取。
這種推送模型消除了先前在檢查點建立與下游處理之間引入延遲的重複輪詢循環。因此,對延遲敏感的工具可以更接近實時反應,而無需調整複雜的輪詢間隔。
根據文件,系統能“在檢查點完成後立即提供‘實時檢查點’”,並且“提供更快的數據、更韌性的管道,以及較少的基礎設施工作在Sui上”。不過,運營者仍可配置安全措施,以防止連線問題和服務中斷。
串流機制通過一個簡單的配置步驟運作,開發者只需加入一個指向全節點端點的streaming-url參數。索引器便會將檢查點作為事件串流接收,而非在預定時間點抓取。
這種事件驅動模型對監控系統、即時分析平台及其他延遲敏感應用特別有價值。此外,它簡化了基礎設施,減少了對激進輪詢策略和相關運營調整的需求。
強制輪詢備援保障歷史數據
Sui將串流與強制輪詢備援來源結合,以應對長連線的固有限制。串流連結僅在建立時傳送數據,因此仍需額外機制來獲取歷史檢查點。
通用索引器在實務中展示了這種混合設計。它以串流作為主要攝取路徑,同時維持輪詢來源作為歷史數據和恢復情境的安全措施。
此配置能保持索引數據的時效性,同時支持乾淨重啟和無縫從故障中恢復。然而,如果連線中斷,系統可以利用輪詢從最後已知的檢查點繼續,待連線穩定後再切回串流。
實務上,這種混合模式類似於sui檢查點串流備援策略。開發者可以享受推送更新的低延遲優點,同時不影響完整性或可靠性。
框架設計促進漸進式串流採用
自訂索引框架將檢查點處理與數據攝取分離。索引器通過統一介面消費並轉換檢查點,無需將邏輯綁定於特定來源,如gRPC串流或HTTP輪詢。
這種抽象允許團隊隨著需求變化,演進攝取策略,而無需重寫核心處理元件。此外,它通過集中數據處理邏輯於單一層,讓程式碼庫更為簡潔。
文件指出,使用gRPC串流,“無需輪詢、無需猜測時間點,也不會因抓取間隔而引入人工延遲”。不過,運營者仍可根據工作負載選擇使用輪詢。
開發者可以逐步啟用sui grpc串流,根據個別工作負載特性調整。重視數據新鮮度和即時反應的應用將從即時串流採用中獲益最大。
相較之下,專注於批次分析、離線處理或較簡單工作流程的系統,可以繼續使用僅輪詢的配置。該框架在相同處理模型下支援兩種方式,簡化多應用環境。
配置保持邏輯穩定,同時源頭演進
基於官方框架建立的現有自訂索引器,只需最少修改即可利用串流功能。加入gRPC能力只需在現有的remote-store-url配置值旁加入一個streaming-url參數。
在此過渡期間,檢查點處理邏輯保持不變。此外,框架會在運行中自動管理來源切換,確保索引器對網路狀態保持一致的視圖。
此設計有助於防止常見的失敗模式,例如系統遺失數據或嚴重落後於鏈上。框架協調串流與輪詢之間的互動,維持重啟與網路中斷時的連續性。
總結來說,Sui的混合串流與輪詢架構提供了即時檢查點、韌性管道,以及一條明確的遷移路徑,讓索引器在追求低延遲攝取的同時,不犧牲可靠性。