Thêm và chuẩn bị dữ liệu

Tạo dataset#

Mở Annotate trên thanh bên và nhấp vào New Dataset. Hộp thoại yêu cầu chọn nguồn, tên, loại tác vụ, giấy phép tùy chọn, làm mờ khuôn mặt và chế độ hiển thị:

Quy tắc quyết định: tải lên một bản sao để thực hiện khóa học này. Dataset Cloud và Tại chỗ giữ dữ liệu pixel bên ngoài Platform, do đó không thể dùng gán nhãn thông minh, Phân cụm, sao chép và tạo snapshot phiên bản.

Loại tác vụ quyết định những công cụ và model nào sẽ xuất hiện. Platform hỗ trợ cả bảy tác vụ Ultralytics YOLO:

Ví dụ thực hành: Kiểm tra dataset trước khi tải lên#

Platform chấp nhận ảnh JPEG, PNG, WebP, BMP, TIFF, HEIC, AVIF, JP2, DNG và MPO có dung lượng tối đa 50 MB và cạnh ngắn tối thiểu 28 px; Platform đọc nhãn YOLO, COCO, LabelMe, NDJSON của Ultralytics hoặc Labelbox và mask PNG ngữ nghĩa. Platform nhận diện được XML Pascal VOC nhưng không nhập dữ liệu này. Script này kiểm tra dataset YOLO cục bộ theo các quy tắc đó, ở đây là dataset medical pills công khai:

from collections import Counter
from pathlib import Path

from PIL import Image

from ultralytics.data.utils import check_det_dataset

ACCEPTED = {".jpg", ".jpeg", ".png", ".webp", ".bmp", ".tif", ".tiff", ".heic", ".avif", ".jp2", ".dng", ".mpo"}
data = check_det_dataset("medical-pills.yaml")  # your local dataset YAML
root = Path(data["path"])

problems = Counter()
for split in ("train", "val", "test"):
    if not data.get(split):
        continue
    files = [p for p in Path(data[split]).rglob("*") if p.is_file()]
    images = [p for p in files if p.suffix.lower() in ACCEPTED]
    labeled = 0
    for img in images:
        label = Path(str(img).replace("images", "labels")).with_suffix(".txt")
        labeled += label.exists() and label.stat().st_size > 0
        if min(Image.open(img).size) < 28:
            problems["under 28 px (rejected)"] += 1
        if img.stat().st_size > 50 * 1024**2:
            problems["over 50 MB (rejected)"] += 1
    problems["unsupported files (skipped)"] += len(files) - len(images)
    print(f"{split:<5} {len(images):>4} images, {labeled:>4} labeled, {len(images) - labeled:>3} background")
problems["Pascal VOC .xml labels (not imported)"] += len(list(root.rglob("*.xml")))
print("classes:", data["names"])
print("problems:", {k: v for k, v in problems.items() if v} or "none")

train   92 images,   92 labeled,   0 background
val     23 images,   23 labeled,   0 background
classes: {0: 'pill'}
problems: none

Kết quả cho biết điều gì:

• Số lượng theo split. Ảnh trong các thư mục train/, val/ và test/ vẫn giữ nguyên split đó khi tải lên, vì vậy những con số này là số liệu Platform sẽ hiển thị. Nếu không có dòng val, Platform sẽ tự tạo một split validation ngẫu nhiên cho bạn (xem lỗi thường gặp bên dưới).
• Ảnh nền (không có file nhãn) vẫn ổn nếu số lượng vừa phải; chúng giúp model học cách nhận biết "không có gì ở đây". Nếu có hàng trăm ảnh như vậy, thường là nhãn không được xuất thành công.
• problems: none nghĩa là mọi ảnh đều được xử lý. Bất kỳ số lượng nào ở đây đều là file sẽ xuất hiện trong tab Errors hoặc hoàn toàn không được tải lên.

Nén thư mục dataset cùng với data.yaml, rồi kéo archive vào thư viện ảnh. Platform tự động nhận diện định dạng, chỉ lưu một bản đối với các ảnh giống hệt nhau và hỏi bạn muốn Bỏ qua, Giữ cả hai hay Thay thế khi ảnh tải lên trùng với ảnh đã có trong dataset.

Ví dụ thực hành: Lấy mẫu video trước khi Platform xử lý#

Platform lấy mẫu mỗi video ở tốc độ 1 frame/giây và giữ tối đa 100 frame; với clip dài hơn 100 giây, Platform tăng khoảng cách lấy mẫu:

Cách này phù hợp để xem nhanh nhưng không đáp ứng được hầu hết dự án thực tế: video ghi lại ca làm việc dài 30 phút sẽ chỉ còn 100 frame, phần lớn là lối đi trống. Hãy tự lấy mẫu video dài rồi tải các frame lên:

Để lấy mẫu đồng đều, chỉ cần FFmpeg:

mkdir -p frames
ffmpeg -i source.mp4 -vf fps=1 frames/%06d.jpg

Để lấy mẫu theo sự kiện, hãy dùng model Ultralytics YOLO đã pretrained để chỉ giữ lại các frame có chứa đối tượng của bạn:

from pathlib import Path

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # or your latest fine-tune
out = Path("frames")
out.mkdir(exist_ok=True)

source = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"
seen = kept = 0
for i, result in enumerate(model.predict(source, stream=True, vid_stride=5, classes=[0], conf=0.5, verbose=False)):
    seen += 1
    if len(result.boxes):  # keep only frames where a person was detected
        cv2.imwrite(str(out / f"frame_{i:05d}.jpg"), result.orig_img)
        kept += 1
print(f"Kept {kept} of {seen} sampled frames")

Kept 12 of 12 sampled frames

vid_stride=5 xem xét mỗi frame thứ năm, classes=[0] giới hạn phát hiện ở người và conf=0.5 bỏ qua các dự đoán thiếu chắc chắn. Clip demo nhộn nhịp này có người trong mọi frame được lấy mẫu; với video ghi lại cảnh hầu như trống, tỷ lệ frame được giữ lại giảm mạnh, kéo theo chi phí gán nhãn cũng giảm. Tăng vid_stride cho đến khi các frame liền kề được giữ lại không còn trông giống hệt nhau.

Đọc các tín hiệu xử lý của Platform#

Sau khi tải lên, Platform xác thực, chuẩn hóa (ảnh lớn hơn 4.096 px sẽ được thay đổi kích thước), tạo thumbnail, phân tích nhãn và tính toán thống kê. Hãy kiểm tra ba nơi:

• Tab Errors chỉ xuất hiện khi có file xử lý thất bại: file bị hỏng, định dạng không được hỗ trợ, ảnh nhỏ hơn 28 px hoặc ảnh ở chế độ màu CMYK và indexed; mỗi trường hợp đều có gợi ý khắc phục. Hãy xuất lại hoặc tải lại các file đó.
• Tab Charts hiển thị phân bố split, các class phổ biến nhất, kích thước ảnh, dung lượng file, vị trí annotation, kích thước box và số đối tượng trên mỗi ảnh. Hãy tìm class hiếm xuất hiện, ảnh quá nhỏ hoặc box tập trung ở một góc.
• Huy hiệu trong tiêu đề dataset hiển thị Ready khi quá trình xử lý hoàn tất và dataset có ít nhất một ảnh train, một ảnh val hoặc test, cùng một ảnh có nhãn. Nhấp vào Not Ready để xem điều kiện nào chưa được đáp ứng.

Bắt đầu từ dataset công khai#

Chưa có dữ liệu? Trang Explore liệt kê các dataset chính thức và do cộng đồng đóng góp. Clone Dataset sao chép ảnh, annotation và class vào workspace của bạn, tính vào dung lượng lưu trữ và mặc định giữ nguyên chế độ hiển thị công khai của nguồn; vì vậy, hãy gạt công tắc trong hộp thoại nếu bạn định thêm dữ liệu nhạy cảm.

Các lỗi thường gặp#