Executar inferência em vídeo

Exemplo prático: fazer previsões em um arquivo de vídeo#

Os vídeos usam o mesmo modo Predict que as imagens. Este clipe de 62 quadros mostra pessoas atravessando um átrio:

yolo predict model=yolo26n.pt source=https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4

video 1/1 (frame 1/62) solutions_ci_demo.mp4: 384x640 22 persons, 27.3ms
...
video 1/1 (frame 62/62) solutions_ci_demo.mp4: 384x640 22 persons, 54.8ms
Results saved to runs/detect/predict

• frame 1/62: Ultralytics decodifica o vídeo e processa cada quadro como uma imagem.
• 22 persons: detecções naquele quadro. As mesmas pessoas são contadas novamente em cada quadro.
• 27.3ms ... 54.8ms: o tempo por quadro varia conforme as outras tarefas executadas pela máquina.

O vídeo anotado é runs/detect/predict/solutions_ci_demo.mp4. Seu próprio modelo funciona da mesma maneira: substitua yolo26n.pt por runs/detect/pills_v1/weights/best.pt.

Transmitir fontes longas e ao vivo#

Para executar código que atua sobre as detecções, percorra um fluxo. Cada iteração gera o Results de um quadro e depois o descarta:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
source = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"

frames, people = 0, 0
for result in model(source, stream=True, classes=[0], verbose=False):  # one Results object per frame
    frames += 1
    people += len(result.boxes)
print(f"{frames} frames, {people / frames:.1f} people per frame")

62 frames, 22.2 people per frame

O mesmo loop aceita o índice de uma webcam (source=0) ou uma URL de câmera, como rtsp://camera.local/stream, e é executado até o fim do fluxo ou até você interrompê-lo. Adicione vid_stride=2 para processar um quadro a cada dois. Para criar uma interface de navegador em torno desse loop, o guia Inferência ao vivo com Streamlit o encapsula em um app.

Exemplo prático: contar cada pessoa uma única vez#

"22 pessoas por quadro" não é o número que alguém quer saber; a pergunta é "quantas pessoas passaram por aqui". O rastreamento de múltiplos objetos associa caixas entre quadros, e o modo Track atribui a cada objeto um ID em boxes.id:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
source = "https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4"

seen = set()
for result in model.track(source, stream=True, persist=True, classes=[0], tracker="bytetrack.yaml", verbose=False):
    if result.boxes.is_track:
        seen.update(result.boxes.id.int().tolist())
print(f"{len(seen)} unique people tracked")

32 unique people tracked

is_track é False nos quadros anteriores à confirmação de qualquer rastreamento, quando boxes.id é None. Use os IDs para contagem, trajetórias ou lógica do tipo "este objeto está aqui há 3 segundos".

Se você não especificar tracker, Ultralytics usa tracktrack.yaml, o padrão atual; o modo Track também inclui ocsort.yaml, deepocsort.yaml e fasttrack.yaml. A escolha e o ajuste de rastreadores, além da criação de contagem de objetos, mapas de calor e estimativa de velocidade com base neles, são abordados em Rastrear objetos com ByteTrack, BoT-SORT e TrackTrack.

Exemplo prático: seu próprio loop de câmera#

Muitas vezes, aplicações reais leem os quadros diretamente — para redimensionar, recortar, adicionar carimbos de data/hora ou compartilhar uma câmera com outro código — e os passam ao modelo. Nesse caso, persist=True mantém o rastreador ativo entre as chamadas:

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
cap = cv2.VideoCapture("solutions_ci_demo.mp4")  # saved locally by the commands above; or 0, or an rtsp:// URL

seen = set()
while cap.isOpened():
    ok, frame = cap.read()
    if not ok:
        break
    result = model.track(frame, persist=True, classes=[0], tracker="bytetrack.yaml", verbose=False)[0]
    if result.boxes.is_track:
        seen.update(result.boxes.id.int().tolist())
cap.release()
print(f"{len(seen)} unique people, highest ID {max(seen)}")

32 unique people, highest ID 67

A mesma contagem de 32 pessoas de track.py. Observe que o maior ID é 67, não 32: o rastreador também atribui IDs a rastreamentos provisórios que nunca são confirmados, por isso há lacunas nos IDs.

Acompanhar a fonte#

Uma câmera de 30 FPS fornece um quadro a cada 33 ms, e a taxa efetiva é limitada pela etapa mais lenta entre decodificação, inferência e gravação. Na CPU do nosso laptop, yolo26n levou de 26 a 46 ms por quadro de 384×640 em diferentes execuções, dependendo das outras tarefas da máquina: no limite ou acima do orçamento, sem margem. Se a sua máquina não acompanhar, ajuste estes parâmetros nesta ordem:

O uso simultâneo de várias câmeras e o encadeamento de threads necessário são abordados em Inferência de múltiplos fluxos.

Evita estes erros#