Tối ưu hóa với TensorRT

FP16 là bước đầu an toàn#

GPU NVIDIA từ Volta trở đi có tensor core FP16, và model phát hiện hiếm khi cần FP32 khi inference. Hãy bắt đầu ở đây:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # hoặc runs/detect/pills_v1/weights/best.pt
model.export(format="engine", quantize=16, workspace=4)  # Engine FP16, workspace của builder tối đa 4 GiB

workspace giới hạn dung lượng bộ nhớ GPU mà TensorRT có thể dùng trong quá trình tạo engine; để trống nếu muốn TensorRT tự quyết định. Trang tích hợp TensorRT công bố kết quả này trên A100 (YOLOv8n, 640 px):

Model này cũ hơn YOLO26, nhưng quy luật đánh đổi vẫn đúng: FP16 nhanh hơn khoảng 1,5× mà không mất gì; INT8 tăng thêm 1,2× nhưng mất 4 điểm. Nếu FP16 đáp ứng ngân sách, hãy triển khai.

Không có GPU NVIDIA tại chỗ? Tab Export của Ultralytics Platform tạo engine trên GPU đám mây mà bạn chọn, với cùng các tùy chọn về kích thước hình ảnh, độ chính xác, batch, dynamic, NMS và workspace:

Chọn dòng GPU mà bạn sẽ triển khai: engine trong ảnh chụp màn hình được tạo trên RTX 5090 và chỉ chạy được trên dòng GPU đó.

INT8 cần dữ liệu hiệu chuẩn#

INT8 lượng tử hóa các activation của từng layer thành 256 mức. Để chọn các dải giá trị này, exporter chạy các hình ảnh hiệu chuẩn qua model và ghi lại các activation quan sát được, vì vậy hình ảnh phải giống dữ liệu thực tế:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    quantize=8,
    data="coco128.yaml",  # # Hình ảnh hiệu chuẩn lấy từ phần val của dataset này; dùng my_dataset/data.yaml
    fraction=1.0,  # # Tỷ lệ (hoặc số lượng) hình ảnh sẽ dùng
    batch=8,  # # Batch hiệu chuẩn lớn hơn giúp các dải giá trị ổn định hơn
    dynamic=True,  # # Với batch=8, engine chấp nhận batch từ 1 đến 8
    workspace=4,
)

Chi phí độ chính xác của INT8 tùy thuộc vào model. Tài liệu chế độ Export đã đo các engine TensorRT YOLO26 trên COCO val (mAP50-95):

Chỉ riêng hiệu chuẩn đã khiến YOLO26n mất 1 điểm, còn các model lớn hơn mất 4–6 điểm. QAT tinh chỉnh model bằng quantize=8 trong train để trọng số chịu được INT8; checkpoint chứa sẵn các dải giá trị riêng, bản export INT8 không cần dữ liệu hiệu chuẩn và đạt kết quả chênh FP32 chỉ 1–2 điểm. Quyết định như sau:

Kiểm tra engine trước khi triển khai#

Mọi engine đều phải vượt qua cùng các bước kiểm tra trên GPU triển khai:

yolo val model=yolo26n.engine data=coco8.yaml  # or my_dataset/data.yaml
yolo benchmark model=yolo26n.pt data=coco8.yaml imgsz=640 format=engine quantize=16

Nguồn gốc của mức tăng tốc#

TensorRT hợp nhất convolution, bias và ReLU thành một kernel (các khối "CBR" ở bên phải) và loại bỏ các bước concat, nhờ đó GPU khởi chạy ít kernel hơn nhiều và di chuyển ít dữ liệu hơn. Trong YOLO26, điều này tăng tốc các chuỗi conv-BN-activation trên toàn mạng, khối attention (PSA) trong backbone và nhiều thao tác nhỏ trong detection head. Nếu engine vẫn chậm, hãy phân tích bằng trtexec hoặc NVIDIA Nsight: thường một layer chiếm từ 30% thời gian trở lên.

Các lỗi thường gặp#

Trên Jetson, DeepStream chạy các engine tạo ra trong pipeline video tăng tốc phần cứng; tại trung tâm dữ liệu, Triton Inference Server cung cấp dịch vụ inference cho các engine đó.