Export để triển khai

Ví dụ minh họa: Export sang ONNX#

yolo export model=runs/detect/pills_v1/weights/best.pt format=onnx

PyTorch: starting from 'runs/detect/pills_v1/weights/best.pt' with input shape (1, 3, 320, 320) BCHW and output shape(s) (1, 5, 2100) (5.2 MB)
ONNX: export success ✅ 0.9s, saved as 'runs/detect/pills_v1/weights/best.onnx' (9.3 MB)
Predict:         yolo predict task=detect model=runs/detect/pills_v1/weights/best.onnx imgsz=320
Validate:        yolo val task=detect model=runs/detect/pills_v1/weights/best.onnx imgsz=320 data=my_dataset/data.yaml

Giải thích từng dòng:

• input shape (1, 3, 320, 320): một ảnh, 3 kênh màu, hình vuông cố định 320×320 — imgsz dùng khi huấn luyện được tích hợp sẵn trong tệp.
• output shape(s) (1, 5, 2100): 4 giá trị hộp cộng với 1 điểm số lớp cho 2.100 hộp ứng viên; theo mặc định, NMS chạy bên ngoài graph.
• 9.3 MB: tệp ONNX lưu trọng số FP32 nên lớn hơn .pt FP16.
• Predict: / Validate:: các lệnh dựng sẵn cho tệp đã export, với imgsz phù hợp.

Một vài tham số đáp ứng phần lớn nhu cầu; hướng dẫn tích hợp ONNX liệt kê các tham số còn lại.

Ví dụ minh họa: Chứng minh bản export khớp#

Lớp YOLO cũng tải được các tệp đã export, vì vậy mã predict ở phần trước hoạt động nguyên trạng. So sánh cả hai tệp trên cùng một ảnh validation:

from ultralytics import YOLO

image = "my_dataset/images/val/Frame_144.jpg"
pt = YOLO("runs/detect/pills_v1/weights/best.pt")(image, rect=False, verbose=False)[0]  # square input, like ONNX
onnx = YOLO("runs/detect/pills_v1/weights/best.onnx")(image, verbose=False)[0]

print(f"pt:   {len(pt.boxes)} pills, mean conf {pt.boxes.conf.mean():.3f}")
print(f"onnx: {len(onnx.boxes)} pills, mean conf {onnx.boxes.conf.mean():.3f}")
print(f"max box difference: {(pt.boxes.xyxy - onnx.boxes.xyxy).abs().max():.4f} px")

pt:   25 pills, mean conf 0.870
onnx: 25 pills, mean conf 0.870
max box difference: 0.0002 px

Số lượng giống nhau, confidence giống nhau, các hộp giống nhau đến từng phần nhỏ của pixel. Tiếp theo là phép kiểm tra chặt chẽ hơn: validation trên toàn bộ tập:

from ultralytics import YOLO

pt = YOLO("runs/detect/pills_v1/weights/best.pt").val(data="my_dataset/data.yaml", rect=False, verbose=False)
onnx = YOLO("runs/detect/pills_v1/weights/best.onnx").val(data="my_dataset/data.yaml", verbose=False)
print(f".pt   mAP50-95 {pt.box.map:.4f}")
print(f".onnx mAP50-95 {onnx.box.map:.4f}")

.pt   mAP50-95 0.6570
.onnx mAP50-95 0.6570

Giống hệt nhau. (Validation hình chữ nhật mặc định trên tệp .pt đạt 0.659: chênh lệch nhỏ do padding đầu vào, không phải do quá trình export.)

Sau khi khớp, hãy đo thời gian bằng yolo benchmark trên thiết bị mục tiêu để biết tốc độ thực tế trước khi triển khai.

Chọn định dạng cho mục tiêu triển khai#

from ultralytics import YOLO

model = YOLO("runs/detect/pills_v1/weights/best.pt")

model.export(format="onnx")  # đa nền tảng: ONNX Runtime
model.export(format="openvino")  # CPU / iGPU Intel
model.export(format="engine", quantize=16)  # NVIDIA TensorRT, FP16 (chạy trên GPU đích)
model.export(format="coreml")  # Apple iOS / macOS
model.export(format="litert", quantize=8, data="my_dataset/data.yaml")  # Android / edge, INT8
model.export(format="qnn", name="73", data="my_dataset/data.yaml")  # NPU Qualcomm Snapdragon (HTP v73); hiệu chỉnh trên dữ liệu của riêng bạn

Mỗi lần export sẽ ghi các tệp bên cạnh trọng số: best.onnx, best_openvino_model/, best.engine, v.v. Hãy bắt đầu với ONNX ngay cả khi cuối cùng bạn dùng định dạng khác: đây là định dạng dễ kiểm tra nhất và là đầu vào cho một số toolchain khác. Hướng dẫn các tùy chọn triển khai so sánh mọi định dạng, còn Chọn mục tiêu triển khai hướng dẫn bạn đưa ra quyết định.

Lượng tử hóa model đánh đổi độ chính xác để giảm kích thước và tăng tốc độ. FP16 (quantize=16) giảm một nửa dung lượng tệp mà hầu như không ảnh hưởng đến độ chính xác. INT8 (quantize=8) còn nhỏ và nhanh hơn, nhưng cần ảnh hiệu chỉnh — các frame đại diện được chạy qua trong quá trình export để chọn phạm vi giá trị; Ultralytics khuyến nghị tối thiểu 300 ảnh. Luôn đánh giá model INT8 trước khi phát hành: mức suy giảm có thể không đáng kể hoặc rất lớn, tùy thuộc vào model và tập hiệu chỉnh.

Tránh những lỗi này#

Bạn đã triển khai#

Giờ đây, bạn đã có một best.pt được huấn luyện, bằng chứng đánh giá đặt cạnh baseline, một tệp đã export cho runtime và xác nhận rằng bản export khớp với bản gốc. Đó là toàn bộ quy trình — dữ liệu, huấn luyện, đánh giá, export, triển khai — và các nhóm vận hành production thực hiện quy trình này theo lịch. Ultralytics YOLO trong môi trường production tiếp nối từ bản export đã được xác minh của bạn, bao quát các runtime được tối ưu hóa, pipeline tracking, phục vụ đa luồng và giám sát.