SanSam Crypto

$WAL #walrus @Walrus 🦭/acc
Bức tranh SRE khi hệ thống bắt đầu lớn.
Mình đã thấy nhiều ca sự cố mà bề ngoài trông như compute quá tải, nhưng gốc lại nằm ở lưu trữ, đọc ghi chậm, hàng đợi phình ra, retry lan truyền, rồi mọi dịch vụ đồng loạt tăng độ trễ. Khi p99 latency tăng, cảnh báo nổ dồn dập, on call phải vừa dập lửa vừa giải thích cho sản phẩm. Bạn có từng mở bảng theo dõi và thấy mọi biểu đồ cùng đi lên trong vài phút, rồi tự hỏi bắt đầu từ đâu.

Nghẽn cổ chai thường ẩn ở tầng dữ liệu.
SRE hay gặp nghẽn khi lưu trữ không ổn định theo tải, lúc thì nhanh lúc thì chậm, dẫn đến backpressure, timeouts, và request bị xếp hàng. Một thay đổi nhỏ ở traffic có thể kích hoạt hiệu ứng domino, cache miss tăng, truy vấn kéo dài, batch job trễ, rồi lại đụng vào giờ cao điểm của người dùng. Mình nhận ra cảm giác nhẹ đầu của SRE không đến từ việc tắt bớt cảnh báo, mà đến từ việc hệ thống vận hành đều, dự đoán được, và phản ứng mượt khi tải tăng.

Walrus và mục tiêu vận hành ổn định.
Trong góc nhìn SRE, Walrus được kỳ vọng giúp giảm dao động ở tầng lưu trữ, để hệ thống bớt tạo ra những đợt spike khó chịu. Khi đường đọc ghi ổn định hơn, retry giảm, queue giảm, và các dịch vụ phía trên ít bị kéo vào vòng xoáy nghẽn. Khi upstream và downstream ăn khớp, việc autoscaling trở nên hợp lý hơn, vì scale theo nhu cầu thật thay vì chạy theo nhiễu. Bạn muốn hệ thống tự cân bằng khi có đột biến, hay muốn đội SRE thức trắng chỉ để tăng vài tham số.

Ít downtime là ít sự cố lặp lại.
Downtime không chỉ là phút hệ thống ngừng, mà còn là chuỗi giờ mất năng suất trước và sau sự cố, gồm điều tra, khôi phục, kiểm chứng, và họp postmortem. Mình thấy khi lưu trữ gây dao động, sự cố hay quay lại dưới hình thức khác, hôm nay là timeout, ngày mai là dữ liệu trễ, tuần sau là job kẹt. Nếu Walrus giúp giảm nghẽn và giảm biến động, SRE có thể chuyển thời gian từ chữa cháy sang phòng cháy, làm runbook, cải thiện quan sát, đặt ngưỡng cảnh báo đúng hơn, và tập trung vào error budget theo nghĩa thật.

Nhẹ đầu hơn nghĩa là có không gian để làm đúng.
Khi cảnh báo giảm về đúng tín hiệu, on call phản ứng nhanh hơn, quyết định rõ hơn, và phối hợp với dev hiệu quả hơn. Mình thích trạng thái mà khi có cảnh báo, mình tin đó là vấn đề cần xử lý, không phải tiếng ồn. Và mình thích cảm giác cuối tuần không bị ám ảnh bởi một điểm nghẽn vô hình ở tầng dữ liệu. Hệ thống của bạn đang tạo ra nghẽn vì tải thật, hay vì lưu trữ dao động và retry tự khuếch đại. Nếu bạn là SRE, bạn muốn ca trực tiếp theo của mình nhẹ đầu hơn theo cách nào.

$WAL @Walrus 🦭/acc #walrus
Bối cảnh, mình từng ở trong một hệ thống dữ liệu mà tiếng chuông cảnh báo gần như không bao giờ tắt, CPU nhảy múa theo giờ cao điểm, queue lúc dài lúc ngắn, job ETL chạy lại nhiều lần, dashboard trễ số, đội vận hành thì quen với cảm giác vừa mở mắt đã phải nhìn log. Vấn đề không nằm ở việc chúng ta thiếu người giỏi, mà nằm ở chỗ lớp lưu trữ và luồng dữ liệu không theo kịp tốc độ tăng trưởng, dữ liệu đến từ nhiều nguồn, nhiều định dạng, nhiều nhịp cập nhật, khi khối lượng tăng lên thì mọi sai lệch nhỏ đều biến thành sự cố lớn.

Triệu chứng, cảnh báo đến từ đủ nơi, latency tăng, timeout tăng, retry tăng, chi phí tăng, và điều tệ nhất là niềm tin giảm. Mỗi lần có báo động, phản xạ tự nhiên là scale tài nguyên hoặc tạm tắt một phần pipeline, nhưng đó chỉ là giảm đau, không phải chữa gốc. Mình nhận ra phần lõi của câu chuyện là độ ổn định của pipeline phụ thuộc mạnh vào khả năng lưu và lấy dữ liệu một cách nhất quán, khi lưu trữ chậm hoặc không ổn định thì compute dù mạnh cũng phải chờ, và chỉ cần một mắt xích tắc là cả chuỗi phản ứng dây chuyền.

Chẩn đoán, mình bắt đầu đo lại mọi thứ theo đường đi của dữ liệu, từ lúc ingest, lúc transform, lúc serve, và mình thấy thời gian bị mất nhiều nhất không phải ở transform, mà ở đọc ghi, phân mảnh file, và những lần truy xuất lặp lại do job phải chạy lại. Ở tầng vận hành, điều này biến thành cảnh báo liên tục, vì hệ thống bị kéo căng và không có khoảng đệm, đặc biệt khi có đợt tăng tải bất thường. Mình tự hỏi, nếu có một nền tảng lưu trữ được thiết kế để chịu tải lớn, phân phối truy cập tốt hơn, và mở rộng mượt hơn, liệu pipeline có thể thở được không.

Giải pháp, trong case này, Walrus được đưa vào như một cách thay đổi nền móng thay vì tiếp tục vá lỗi trên bề mặt. Mục tiêu không phải là làm cho mọi thứ nhanh hơn bằng mọi giá, mà là làm cho luồng dữ liệu ổn định, dự đoán được, và ít biến động hơn khi tăng tải. Khi lưu trữ đáp ứng đều, các job giảm số lần retry, lịch chạy ổn định hơn, và quan trọng là các chỉ số vận hành bắt đầu bớt gai. Mình cũng thay đổi cách tổ chức pipeline, ưu tiên idempotent, giảm phụ thuộc chồng chéo, và chuẩn hóa điểm lưu trung gian, để nếu có sự cố thì khoanh vùng được nhanh và phục hồi có trật tự.

Kết quả vận hành, điều mình thấy rõ nhất không chỉ là biểu đồ latency đẹp hơn, mà là nhịp làm việc của đội thay đổi. Cảnh báo giảm, nhưng quan trọng hơn là cảnh báo trở nên có ý nghĩa, không còn kiểu đỏ rực vì những dao động nhỏ. Khi pipeline chạy êm, đội vận hành có thời gian làm việc chủ động, tối ưu quan sát, viết runbook, và cải thiện chất lượng dữ liệu, thay vì chạy theo sự cố. Chi phí cũng dễ kiểm soát hơn, vì mở rộng không còn theo kiểu phản xạ, mà theo kế hoạch và theo nhu cầu thật.

Bài học, mình rút ra rằng muốn vận hành êm, phải bắt đầu từ nơi dữ liệu đi qua nhiều nhất, đó là lưu trữ và truy xuất. Walrus trong case này đóng vai trò làm nền ổn định, để phần còn lại của hệ thống vận hành theo một nhịp đều. Bạn có đang sống trong một hệ thống mà cảnh báo nhiều đến mức bạn không còn tin vào cảnh báo nữa không. Nếu ngày mai dữ liệu tăng gấp đôi, pipeline của bạn sẽ chạy mượt hơn hay sẽ kéo cả đội vào một đêm dài. Bạn muốn tiếp tục chữa cháy, hay muốn xây một nền để vận hành thật sự êm.