Thiết kế hệ thống E-Commerce yêu cầu mở rộng
- 1. Integration in Ecommerce System Lê Minh Nghia Solution Architect - Tiki.VN
- 2. Vai trò của tích hợp Order Service Catalog Service Warehouse System Front End Application Accounting System Data warehouse System Search Service Logistic Service Postgresql MysqlMongoDb Redis Kafka Rabbit Legacy System Payment Service Elastic
- 3. Vai trò của tích hợp • Có quá nhiều system cấu thành lên hệ thống • Các system sử dụng nhiều data source khác nhau • Business logic phức tạp, đòi hỏi cao tính chính xác • Các system do các team khác nhau quản lý và phát triển
- 4. Các khó khăn chính • Đảm bảo tính chính xác của dữ liệu • Đảm bảo thứ tự của các message trao đổi • Dễ dàng tích hợp giữa các hệ thống
- 5. Các phần tích hợp chính • Tích hợp giữa backend và front end • Tích hợp giữa Order và Payment • Tích hợp giữa Order và Catalog • Tích hợp giữa với hệ thống kho • Tích hợp với hệ thống accounting • Tích hợp với hệ thống data warehouse
- 6. Backend và Frontend Catalog Management System Caching vs Searching Traffic Cao Các vấn đề khó khăn: - Update realtime các thay đổi - Cập nhật chính xác thông tin sản phẩm - Đảm bảo hiệu năng cao cho read - Xử lý được cấu trúc product phức tạp
- 7. Order và Payment Order Service Payment Service Make Transaction Callback Response Các khó khăn: - Bảo mật - Tính chính xác, ổn định cao - Xử lý exact once
- 8. Order - Catalog Order Service Catalog Service Reserve Product Place Order Confirm Các khó khăn: - Đảm bảo không bán quá số lượng - Đảm bảo việc cập nhật giá và số lượng chính xác - Đảm bảo hiệu năng
- 9. Tích hợp kho Catalog - Order Systems Warehouse System Inbound/Outbound: sku, quantity… Sale Order Các khó khăn: - Đảm bảo sự sai lệch giữa kho và hệ thống online là nhỏ nhất - Đảm bảo hàng hoá cho các đơn hàng được đặt - Nhập xuất số lượng lớn
- 10. Tích hợp Accounting Product/SKU Order Payment/ Loyalty Delivery Cash In Accounting Các khó khăn: - Tính chính xác (tới từng đồng) - Dữ liệu bị phân mảnh - Nghiệp vụ tài chính phức tạp
- 11. Tích hợp Data Warehouse Product Database Order Database Warehouse Database Logistic Database Data Warehouse Customer Database Logging Các khó khăn: - Dữ liệu có cấu cấu trúc đa dạng - Lượng dữ liệu lớn - Tính chính xác đòi hòi cao - Phục vụ các mục đích phân tích đa dạng
- 12. Chiến lược và giải pháp
- 13. Đơn giản hoá mô hình tích hợp • Giảm thiểu sự trùng lặp model dữ liệu và logic giữa các hệ thống. VD: Order service không cần full thông tin model product, Warehouse không cần full thông tin của order • Càng tối thiểu hoá sự trùng lặp dữ liệu, càng đơn giản hoá quá trình tính hợp, giảm thiểu sai sót. • Hạn chế mô hình tích hợp dạng star schema, ưu tiên mô hình horizontal • Ưu tiên tích hợp bất đồng bộ hơn là tích hợp đồng bộ.
- 14. Mô hình Star Order Service Catalog Service Warehouse System Order Service Hạn chế: - Số lượng kết nối phức tạp. Độ phức tạp O(n^2) - (Metcalfe's law) - Khó đảm bảo sự ổn định và available của tất cả các service cùng lúc
- 15. Mô hình message bus - Độ phức tạp các liên kết O(n) - Không cần các services available tại cùng một thời điểm - Đơn giản khi sử dụng
- 16. Đồng bộ và Bất đồng bộ • Đồng bộ: gọi api giữa các service • Bất đồng bộ: giao tiếp qua message queue • Xác định đòi hỏi về tính nhất quán của dữ liệu • Tối đa hoá tích hợp bất đồng bộ
- 17. Eventually Consistency • Cần đảm bảo dữ liệu được gửi đi • Đảm bảo các dữ liệu gửi đúng thứ tự • Đảm bảo gửi exact once nếu có thể
- 18. Eventually Consistency Lỗi phổ biến: - Ghi dữ liệu đồng thời dữ liệu cho nhiều service. Do không có transaction dẫn tới nguy cơ sai lệch dữ liệu - Sử dụng các message queue không đảm bảo thứ tự như Rabbit MQ.
- 19. Eventually Consistency Database Event Publisher Capture Data Changes Write Transaction Message Bus Publish Events - Bắt tất cả các thay đổi - Đảm bảo thứ tự gửi đi
- 20. Binlog - Kafka MySql Binlog Append Events Kafka Publish Events Publisher - MySql ghi nhận các thay đổi đúng thứ tự - Kafka đảm bảo delivery các message đúng thứ tự
- 22. Kết luận • Tích hợp là vấn đề chính với các hệ thống lớn. • Message queue là chìa khoá đảm bảo việc tích hợp giữa các thành phần • Phải đảm bảo gửi đúng thứ tự message khi tích hợp • Ưu tiên tích hợp bất đồng bộ hơn là đồng bộ
- 23. Cảm ơn • Contact: Lê Minh Nghĩa • Email: nghia.fi[email protected] • Facebook: /nghialeminh • Slide Share: /NghiaLeMinh1