📖 English Edition (Bản tiếng Anh)

Điều kiện tiên quyết: Xem lại Phần 4 — Bản Thiết Kế Zero-Downtime để nắm cơ chế triển khai Strangler Fig.

Bóc Tách Dữ Liệu Magento 2: Làm Phẳng Cấu Trúc EAV Bằng SQL, Node.js & Go

Tóm tắt cốt lõi: Việc bóc tách dữ liệu danh mục sản phẩm và khách hàng từ Magento 2 đòi hỏi làm phẳng (flattening) cấu trúc Entity-Attribute-Value (EAV) phức tạp thành các bảng quan hệ phi chuẩn hóa. Việc sử dụng các câu truy vấn SQL xoay trục (unpivoting) trực tiếp kết hợp pipeline streaming Node.js / Go có kiểm soát áp lực ngược (backpressure) cho phép xử lý hơn 100.000 SKU trong phạm vi bộ nhớ RAM dưới 512MB. Bảng chuyển dịch định danh hai chiều (magento_id_map) đóng vai trò cầu nối chuyển đổi các khóa tự tăng nguyên khối cũ sang định danh phân tán UUIDv7, đảm bảo toàn vẹn dữ liệu 100%.

Rào cản kỹ thuật lớn nhất khi chuyển đổi khỏi Magento chính là việc bóc tách dữ liệu. Cấu trúc EAV của Magento phân tán thuộc tính của một sản phẩm duy nhất ra hàng chục bảng vật lý khác nhau (catalog_product_entity_varchar, _int, _decimal, _text, _datetime).

Nếu cố gắng xuất dữ liệu 100.000 SKU thông qua API REST hoặc GraphQL của Magento, tiến trình sẽ mất hơn 36 tiếng, làm tràn bộ nhớ PHP và liên tục bị sập giữa chừng do hiện tượng khóa bảng cơ sở dữ liệu.

1. Sơ Đồ Pipeline Làm Phẳng Dữ Liệu EAV

flowchart TD
    subgraph Magento_EAV ["Nguồn Dữ Liệu Magento 2 MySQL"]
        CPE["catalog_product_entity"]
        CPEV["_varchar (Tên, Màu Sắc)"]
        CPED["_decimal (Giá Bán, Trọng Lượng)"]
        CPEI["_int (Trạng Thái, Hiển Thị)"]
        CPET["_text (Mô Tả Chi Tiết)"]
    end

    CPE --> UnpivotSQL["Truy Vấn Unpivot SQL Trực Tiếp (Cursor Stream)"]
    CPEV --> UnpivotSQL
    CPED --> UnpivotSQL
    CPEI --> UnpivotSQL
    CPET --> UnpivotSQL

    subgraph Streaming_ETL ["Động Cơ Streaming ETL (Go / Node.js)"]
        UnpivotSQL --> Backpressure["Đệm Áp Lực Ngược (< 512MB RAM)"]
        Backpressure --> Transform["Chuẩn Hóa & Làm Sạch Dữ Liệu JSON"]
        Transform --> UUIDGen["Tạo Khóa UUIDv7 & Ghi Vào magento_id_map"]
    end

    subgraph Target_Storage ["Cơ Sở Dữ Liệu Microservice Đích"]
        UUIDGen --> Postgres["PostgreSQL 16 (Bảng Phẳng)"]
        UUIDGen --> LanceDB["LanceDB (Vector & Hybrid Search)"]
        UUIDGen --> Parquet["Kho Lưu Trữ Lạnh Parquet S3"]
    end

2. Cầu Nối Định Danh Hai Chiều: Bảng magento_id_map

sequenceDiagram
    autonumber
    participant Monolith as "Magento Monolith"
    participant MapTable as "Bảng magento_id_map (PostgreSQL)"
    participant GoService as "Go Microservice"

    Note over MapTable: Định danh miền: 'product' | 'customer' | 'order'
    Monolith->>MapTable: Tìm UUID của Magento ID: 10420
    MapTable-->>Monolith: Trả về UUID: 018f2d5a-9401-7000-8000-123456789abc
    
    GoService->>MapTable: Tìm Magento ID cũ của UUID: 018f2d5a-...
    MapTable-->>GoService: Trả về Magento ID: 10420 (Để đồng bộ ngược)

3. Mã Nguồn Thực Chiến: Node.js Streaming ETL Kiểm Soát Bộ Nhớ

Đoạn mã Node.js dưới đây đọc dữ liệu từ MySQL qua cơ chế Stream Cursor, đảm bảo bộ nhớ RAM luôn được giới hạn dưới 500MB ngay cả khi xuất hàng triệu bản ghi:

import mysql from 'mysql2';
import { Transform } from 'stream';
import { v7 as uuidv7 } from 'uuid';

const pool = mysql.createPool({
  host: process.env.MAGENTO_DB_HOST || 'localhost',
  user: process.env.MAGENTO_DB_USER || 'magento',
  password: process.env.MAGENTO_DB_PASSWORD || 'secret',
  database: process.env.MAGENTO_DB_NAME || 'magento2',
  connectionLimit: 5
});

const exportQuery = `
  SELECT 
    e.entity_id AS magento_id,
    e.sku,
    MAX(CASE WHEN ea.attribute_code = 'name' THEN v.value END) AS name,
    MAX(CASE WHEN ea.attribute_code = 'price' THEN d.value END) AS price,
    MAX(CASE WHEN ea.attribute_code = 'status' THEN i.value END) AS status
  FROM catalog_product_entity e
  LEFT JOIN catalog_product_entity_varchar v ON v.entity_id = e.entity_id AND v.store_id = 0
  LEFT JOIN catalog_product_entity_decimal d ON d.entity_id = e.entity_id AND d.store_id = 0
  LEFT JOIN catalog_product_entity_int i ON i.entity_id = e.entity_id AND i.store_id = 0
  LEFT JOIN eav_attribute ea ON ea.attribute_id IN (v.attribute_id, d.attribute_id, i.attribute_id)
  GROUP BY e.entity_id, e.sku;
`;

class FlattenTransform extends Transform {
  constructor() {
    super({ objectMode: true, highWaterMark: 500 });
  }

  _transform(row, encoding, callback) {
    const microserviceProduct = {
      id: uuidv7(),
      legacy_magento_id: row.magento_id,
      sku: row.sku,
      name: row.name || 'Sản phẩm chưa đặt tên',
      price_cents: Math.round(parseFloat(row.price || 0) * 100),
      status: row.status === 1 ? 'ACTIVE' : 'INACTIVE',
      extracted_at: new Date().toISOString()
    };
    this.push(JSON.stringify(microserviceProduct) + '\n');
    callback();
  }
}

pool.getConnection((err, conn) => {
  if (err) throw err;
  const stream = conn.query(exportQuery).stream({ highWaterMark: 500 });
  const transformer = new FlattenTransform();

  stream
    .pipe(transformer)
    .pipe(process.stdout)
    .on('finish', () => {
      conn.release();
      console.error('[ETL Thành Công] Hoàn tất làm phẳng dữ liệu với RAM tối ưu.');
    });
});

4. Ma Trận So Sánh Các Phương Pháp Bóc Tách

❓ Câu Hỏi Thường Gặp (FAQ)

🔗 Bước Tiếp Theo: Khám phá Phần 6 — Di Trú Magento: Chọn Shared DB, Debezium CDC Hay Event Bus?.