Distributed Systems

Điều kiện tiên quyết: Đây là Phần 9 của Khóa Học System Design. Lội lại Phần 4: Phình To Cơ Sở Dữ Liệu đặng thông não mớ nền tảng mấy trò chặt thịt phân mảnh ngang (horizontal partitioning). Answer-first: Đạo luật Băm Nhất Quán (Consistent Hashing) đè ép độ tàn phá xáo trộn chìa khóa (key remapping) xuống mức kịch kim rẻ mạt nhất có thể mỗi bận có thằng bỏ hội hay đứa mới bon chen vào mâm (cluster membership changes). Lỡ bốc nhón thêm/bớt đúng 1 node vào cái ổ băm chia dư (modulo-hash cluster) là y như rằng nó hất cẳng lật tung 100% mâm khóa (catastrophic cache miss storm - bão văng cache). Cái bùa Băm Nhất Quán chọc lòi chỉ cấu xé nắn lại đúng có nhõn phần $K/N$ số lượng khóa — con số rẻ mạt tối hậu trên mặt lý thuyết. ...

Điều kiện tiên quyết: Đây là Phần 1 của series Khóa Học System Design. Bài viết giả định bạn đã nắm được các khái niệm cơ bản về hệ thống phân tán và cú pháp của ngôn ngữ Go. Answer-first: Cốt lõi của tư duy thiết kế hệ thống vững chắc (Sound system design thinking) chính là việc cân đo đong đếm và lựa chọn các sự đánh đổi (trade-offs) xoay quanh hiệu năng (performance), độ tin cậy (reliability), và chi phí (cost). Làm quái gì có hệ thống nào hoàn hảo — mấy ông Kiến trúc sư (architects) sinh ra là để tối ưu hóa dựa trên những rào cản (constraints) áp đặt bởi yêu cầu kinh doanh thực tế và thực tại của công nghệ. ...

🇬🇧 Read the English version of this article on tanhdev.com Vào lúc nửa đêm ngày 11 tháng 11, khoảng 1,5 tỷ người trên khắp châu Á đồng loạt mở một ứng dụng duy nhất và bắt đầu chạm vào “Mua ngay”. Trong 60 giây đầu tiên, Alipay xử lý nhiều giao dịch hơn một ngân hàng lớn ở phương Tây xử lý trong cả một ngày. Đỉnh điểm của Ngày Lễ Độc Thân (Singles’ Day) năm 2023 — 583.000 giao dịch thanh toán mỗi giây (TPS) — không chỉ là một tiêu đề báo. Đó là sản phẩm của mười bốn năm tiến hóa kiến trúc đã định nghĩa lại ý nghĩa của từ “sẵn sàng cho production” đối với một nền tảng tài chính. ...

Executive Summary: Alipay Double 11 Architecture From 50M CNY to 544K TPS: Lessons in Building Planet-Scale Systems TL;DR (Too Long; Didn’t Read) Alipay đã tăng capacity 5,440 lần trong 10 năm (2009-2019), từ hệ thống gần như sập (phải cắt điện văn phòng, dùng đá lạnh để giải nhiệt) đến 544,000 giao dịch/giây với độ tin cậy 99.99%. 3 bài học chính: Thiết kế để chia nhỏ (Unitization) - không thể scale vertically vô hạn Kiểm thử sản xuất (Stress testing) - tự tin từ 60% lên 95% Tự động hóa mọi thứ - giảm 200 người xuống 10 người cho cùng công việc The Story: From Crisis to Record 2012: The Breaking Point Vấn đề: Khủng hoảng 3 đầu ...

Phase 2: Kiến Trúc Kỹ Thuật Sâu - Alipay Double 11 2.1 Logical Data Center (LDC) & Unitization Architecture Core Concept: “Unit” Định nghĩa: Unit là một tập hợp self-contained có thể hoàn thành toàn bộ business operations. Đây là phiên bản thu nhỏ của toàn bộ hệ thống: Có đầy đủ: Tất cả services và applications Không đầy đủ: Chỉ chứa một phần dữ liệu (data sharding) Ba Loại Zone trong LDC ┌─────────────────────────────────────────────────────────────┐ │ LDC Architecture │ ├─────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ RZone 1 │ │ RZone 2 │ │ RZone N │ │ │ │ (Region) │ │ (Region) │ │ (Region) │ │ │ ├─────────────┤ ├─────────────┤ ├─────────────┤ │ │ │ • App Layer │ │ • App Layer │ │ • App Layer │ │ │ │ • Data Shard│ │ • Data Shard│ │ • Data Shard│ │ │ │ • Full Svcs │ │ • Full Svcs │ │ • Full Svcs │ │ │ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │ │ │ │ │ │ │ └─────────────────┼─────────────────┘ │ │ │ │ │ ┌──────────┴──────────┐ │ │ │ │ │ │ ┌──────┴──────┐ ┌──────┴──────┐ │ │ │ GZone │ │ CZone │ │ │ │ (Global) │ │ (City) │ │ │ ├─────────────┤ ├─────────────┤ │ │ │ • Config │ │ • User Info │ │ │ │ • CIF │ │ • Login │ │ │ │ • Shared │ │ • Frequent │ │ │ └─────────────┘ └─────────────┘ │ └─────────────────────────────────────────────────────────────┘ RZone (Region Zone) Tự chủ hoàn toàn: Có đủ data và services để xử lý business Data sharding: Mỗi RZone chỉ chứa một phần dữ liệu (ví dụ: user ID 1-1M ở RZone 1, 1M-2M ở RZone 2) Horizontal scaling: Thêm RZone = thêm capacity Multi-active: Nhiều RZone active đồng thời ở các region khác nhau GZone (Global Zone) Chỉ 1 instance toàn cục Chứa dữ liệu không thể chia nhỏ (inseparable): Config center CIF (Customer Information File) Shared global data Read/Write: Được tất cả RZones truy cập (tần suất thấp) CZone (City Zone) Giải quyết latency giữa các cities Chứa dữ liệu/services được RZone truy cập thường xuyên Mỗi business access ít nhất một lần Khác GZone: CZone được truy cập liên tục bởi RZone Lợi Ích LDC Architecture Vấn đề Giải pháp LDC Single point bottleneck Chia thành nhiều units Traffic allocation Request routing đến đúng RZone Data splitting Sharding theo unit Latency xuyên city CZone cache frequent data Remote disaster recovery Multi-active RZones Kết quả: ...