# 05.03. Batch Processing Testing

## Mục đích
Kiểm thử các tiến trình xử lý dữ liệu hàng loạt chạy ngầm (Cron jobs, Background workers, Scheduled tasks). Đảm bảo các tiến trình này thực thi đúng thời điểm, xử lý chính xác khối lượng dữ liệu lớn mà không gây treo hệ thống, và có khả năng phục hồi khi gặp lỗi. Ngoài việc kiểm thử từng batch độc lập, cần kiểm thử sự tương tác giữa các batch có quan hệ với nhau (phụ thuộc dữ liệu, dùng chung tài nguyên, phụ thuộc thứ tự/thời điểm chạy) để đảm bảo dữ liệu nhất quán trên toàn hệ thống.

## Kiến thức cần có
- **Hệ điều hành & Cron:** Cách cấu hình cron expression (ví dụ: `0 0 * * *`).
- **Cơ sở dữ liệu:** Kỹ năng truy vấn DB để kiểm tra trạng thái dữ liệu trước và sau khi xử lý.
- **Hệ thống hàng đợi (Message Queues):** Hiểu về RabbitMQ, Kafka, Redis Queue.
- **Giám sát (Monitoring):** Biết cách xem log hệ thống và sử dụng các công cụ giám sát (Grafana, Kibana).
- **Điều phối & Đồng thời (Orchestration & Concurrency):** Hiểu về cơ chế phụ thuộc giữa các job (job chain, trigger sau khi job khác hoàn tất), cơ chế lock (DB lock, distributed lock, lock file), transaction isolation và các hiện tượng race condition, lost update, đọc dữ liệu chưa hoàn tất.

## Quy trình thực hiện
1. **Xác định trigger:** Kiểm tra xem tiến trình được kích hoạt bởi thời gian (Schedule) hay bởi một sự kiện (Event-driven).
2. **Chuẩn bị dữ liệu mẫu (Massive data):** Tạo tập dữ liệu lớn để kiểm tra hiệu năng và giới hạn xử lý.
3. **Kích hoạt tiến trình:**
    - Chờ đến thời điểm tự động.
    - Kích hoạt thủ công (Manual trigger) để kiểm tra nhanh.
4. **Theo dõi thực thi:**
    - Kiểm tra log để xem tiến trình bắt đầu và kết thúc khi nào.
    - Theo dõi tài nguyên hệ thống (CPU, RAM) trong quá trình xử lý.
5. **Kiểm chứng dữ liệu:** Đối soát dữ liệu trong DB sau khi batch job kết thúc.
6. **Kiểm thử trường hợp lỗi:** Ngắt kết nối mạng hoặc tắt server giữa chừng để kiểm tra khả năng phục hồi.

### Kiểm thử tích hợp giữa các Batch (Batch-to-Batch Integration)
> **Khi nào áp dụng:** Khi hệ thống có từ 2 batch trở lên có quan hệ với batch đang kiểm thử (xem bước 7). Nếu batch hoàn toàn độc lập, ghi rõ kết luận "không có batch liên quan" và bỏ qua phần này.
>
> **Nguyên tắc:** Quan hệ giữa các batch phải được xác định từ spec, cấu hình scheduler hoặc source code. Không tự giả định thứ tự chạy hay quy tắc nghiệp vụ; điểm nào chưa rõ phải ghi thành câu hỏi (Q&A) cho BA/DEV.

7. **Nhận diện các batch liên quan:** Với batch đang kiểm thử, liệt kê các batch khác có ít nhất một trong các quan hệ sau:
    - **Phụ thuộc dữ liệu (Upstream/Downstream):** Batch này dùng output của batch khác làm input, hoặc ngược lại.
    - **Dùng chung dữ liệu (Shared data):** Cùng đọc/ghi một bảng, một bản ghi, một trường trạng thái, hoặc cùng file, thư mục, queue, cache, tài nguyên bên ngoài.
    - **Phụ thuộc trạng thái:** Batch này thay đổi trạng thái/cờ mà batch khác dùng làm điều kiện chọn dữ liệu (ví dụ: điều kiện `WHERE status = ...`).
    - **Phụ thuộc thời gian/thứ tự:** Batch này phải chạy trước/sau batch khác, hoặc có lịch chạy chồng lấn.
    - **Trigger:** Batch này kích hoạt hoặc bị kích hoạt bởi batch/sự kiện khác.
    > Ngoài batch, các thao tác của người dùng/ứng dụng trên cùng dữ liệu cũng được xem như một "tác nhân ghi" cần xét.

8. **Lập bản đồ quan hệ (Batch Relationship Map):** Với mỗi cặp/chuỗi batch liên quan, ghi lại: dữ liệu/tài nguyên chung, chiều tác động (đọc/ghi), thứ tự và lịch chạy mong đợi, cơ chế đảm bảo thứ tự hoặc loại trừ (dependency config, lock, cờ trạng thái), và hành vi mong đợi khi batch liên quan lỗi. Đây là cơ sở để chọn viewpoint ở bước 9. Ưu tiên các cặp có rủi ro cao: **cùng ghi** vào một dữ liệu > một batch ghi và một batch đọc > chỉ cùng đọc (thường không cần kiểm thử tích hợp).

9. **Xác định viewpoint kiểm thử tích hợp:** Dựa trên bản đồ quan hệ, chọn các viewpoint phù hợp (không bắt buộc áp dụng tất cả):
    - **Thứ tự thực thi:** Chạy đúng thứ tự, sai thứ tự, upstream chạy trễ hoặc chưa chạy khi downstream bắt đầu; dữ liệu phát sinh/thay đổi trong khoảng giữa hai batch hoặc sát mốc cut-off có được xử lý đúng kỳ, không bị bỏ sót hay xử lý trùng.
    - **Kích hoạt chuỗi (Trigger):** Batch sau chỉ được kích hoạt khi batch trước kết thúc đúng điều kiện (ví dụ: thành công), được kích hoạt đúng một lần, và không bị kích hoạt khi batch trước fail/bị hủy.
    - **Chạy đồng thời/chồng lịch:** Hai batch liên quan chạy cùng lúc; batch chạy lâu hơn chu kỳ lịch và gối lên lần chạy kế tiếp hoặc lên batch khác.
    - **Tranh chấp dữ liệu dùng chung:** Ghi đè lẫn nhau (lost update), đọc dữ liệu đang được batch khác xử lý dở, lock/deadlock giữa các batch.
    - **Lan truyền lỗi (Failure propagation):** Upstream fail, timeout hoặc xử lý một phần thì downstream bị chặn, bỏ qua, hay chạy trên dữ liệu thiếu? Kết quả có khớp với hành vi mong đợi trong bản đồ quan hệ không?
    - **Retry/Re-run trong chuỗi:** Chạy lại upstream (toàn phần hoặc một phần) có làm downstream xử lý trùng, bỏ sót hoặc tính toán sai không? Chạy lại downstream có cần chạy lại upstream không?
    - **Phục hồi (Recovery):** Sau khi khắc phục lỗi và chạy lại theo quy trình vận hành, toàn chuỗi có đưa dữ liệu về trạng thái đúng không?
    > **Cách tạo điều kiện kiểm thử:** Tắt lịch tự động và dùng Manual trigger để chủ động kiểm soát thứ tự; kéo dài thời gian chạy của một batch (tăng khối lượng dữ liệu, thêm độ trễ ở môi trường test) để tạo khoảng chồng lấn; dừng hoặc làm lỗi batch ở giữa chừng để tạo trạng thái xử lý dở. Cách tạo điều kiện phải được thống nhất với DEV nếu cần can thiệp cấu hình.

10. **Kiểm chứng tính nhất quán toàn chuỗi:** Đối soát dữ liệu sau khi toàn bộ chuỗi batch kết thúc (không chỉ sau từng batch): tổng số record khớp giữa upstream và downstream, không có bản ghi kẹt ở trạng thái trung gian, không có bản ghi bị xử lý hai lần hoặc bị bỏ sót, dữ liệu dùng chung không bị ghi đè sai.

## Checklist
- [ ] Tiến trình chạy đúng thời gian đã cấu hình.
- [ ] Xử lý thành công toàn bộ dữ liệu đầu vào.
- [ ] Không xảy ra lỗi tràn bộ nhớ (Memory leak) hoặc timeout khi xử lý khối lượng lớn.
- [ ] Trạng thái của job (Pending, Running, Success, Failed) được cập nhật chính xác trong bảng quản lý job.
- [ ] Cơ chế Retry hoạt động đúng cho các record bị lỗi lẻ tẻ.
- [ ] Tính Idempotency: Chạy lại job nhiều lần trên cùng một bộ dữ liệu không gây ra dữ liệu trùng lặp hoặc sai lệch.
- [ ] Nhiều instance của cùng một job chạy song song (hoặc bị kích hoạt trùng) không gây tranh chấp dữ liệu (Deadlock, xử lý trùng record).
- [ ] Log ghi lại đầy đủ thông tin: số record thành công, số record thất bại, lý do lỗi.

**Batch-to-Batch Integration** *(áp dụng khi có batch liên quan)*
- [ ] Đã xác định và ghi lại các batch liên quan (upstream/downstream, dùng chung dữ liệu/tài nguyên, phụ thuộc trạng thái, phụ thuộc thời gian) từ spec/source.
- [ ] Downstream chỉ xử lý dữ liệu khi upstream đã hoàn tất; hành vi khi upstream chưa chạy/chạy trễ đúng như thiết kế.
- [ ] Các batch dùng chung dữ liệu/tài nguyên không ghi đè lẫn nhau và không đọc dữ liệu đang được xử lý dở.
- [ ] Lịch chạy chồng lấn hoặc batch chạy quá chu kỳ không gây xung đột với batch liên quan.
- [ ] Khi một batch trong chuỗi fail/timeout/xử lý một phần, batch liên quan phản ứng đúng thiết kế (chặn, bỏ qua, cảnh báo) và không làm dữ liệu sai lệch.
- [ ] Chạy lại (re-run/retry) một batch trong chuỗi không gây xử lý trùng hoặc bỏ sót ở batch liên quan.
- [ ] Dữ liệu phát sinh giữa các lần chạy của batch liên quan (hoặc sát mốc cut-off) không bị bỏ sót hoặc xử lý trùng.
- [ ] Sau khi khắc phục lỗi và chạy lại theo quy trình vận hành, toàn chuỗi đưa dữ liệu về trạng thái đúng.
- [ ] Trạng thái/log của từng batch cho phép truy vết batch nào trong chuỗi bị lỗi, bị chặn hoặc bị bỏ qua.
- [ ] Dữ liệu nhất quán sau khi toàn chuỗi hoàn tất (số lượng khớp, không có bản ghi kẹt ở trạng thái trung gian).

## Output mong đợi
- **Báo cáo thực thi Batch Job:** Chi tiết thời gian bắt đầu, kết thúc và kết quả xử lý.
- **Kết quả đối soát dữ liệu:** Bảng so sánh dữ liệu trước và sau khi chạy batch.
- **Danh sách lỗi phát hiện:** Các lỗi về hiệu năng, logic xử lý dữ liệu lớn hoặc tương tác giữa các batch.
- **Tài liệu cấu hình:** Hướng dẫn cấu hình và kích hoạt các job.
- **Batch Relationship Map:** (nếu có batch liên quan) Danh sách các batch liên quan, dữ liệu/tài nguyên chung, thứ tự/lịch chạy, hành vi mong đợi khi lỗi, cùng các điểm cần làm rõ (Q&A).
