视频对象跟踪实战指南

### 视频对象跟踪实战指南 #### 1. 视频流读取 OpenCV 提供了方便的方法来连接视频源并从视频帧中读取图像。这些帧中的图像会被 OpenCV 内部转换为 NumPy 数组，以便进一步处理以检测和跟踪其中的对象。然而，检测过程计算量较大，可能跟不上读取帧的速度。因此，在主线程中读取帧并执行检测操作会导致性能下降，特别是处理高清视频时。为了解决这个问题，我们将实现多线程来捕获帧，即异步读取视频帧。 以下是异步读取视频帧的实现代码： ```python # file: videoasync.py import threading import cv2 class VideoCaptureAsync: def __init__(self, src=0): self.src = src self.cap = cv2.VideoCapture(self.src) self.grabbed, self.frame = self.cap.read() self.started = False self.read_lock = threading.Lock() def set(self, key, value): self.cap.set(key, value) def start(self): if self.started: print('[Warning] Asynchronous video capturing is already started.') return None self.started = True self.thread = threading.Thread(target=self.update, args=()) self.thread.start() return self def update(self): while self.started: grabbed, frame = self.cap.read() with self.read_lock: self.grabbed = grabbed self.frame = frame def read(self): with self.read_lock: frame = self.frame.copy() grabbed = self.grabbed return grabbed, frame def stop(self): self.started = False # self.cap.release() # cv2.destroyAllWindows() self.thread.join() def __exit__(self, exec_type, exc_value, traceback): self.cap.release() ``` 这个类 `VideoCaptureAsync` 包含了构造函数以及启动线程、读取帧和停止线程的函数。 - **构造函数**：接受视频源作为参数，默认值 `src=0` 表示笔记本电脑/计算机的内置摄像头。如果有 USB 摄像头，可以相应地设置 `src` 的值。对于基于 IP 的摄像头，传递 IP 地址或 URL。如果视频源是文件，则传递视频文件的路径。 - **`set` 函数**：用于设置 `VideoCapture` 对象的属性，如帧高度、宽度和每秒帧数（FPS）。 - **`start` 函数**：启动异步读取帧的线程。 - **`update` 函数**：在 `start` 函数内部调用，用于读取帧并更新类级别的帧变量。 - **`read` 函数**：返回在 `update` 函数中更新的帧，并返回一个布尔值指示帧是否成功读取。 - **`stop` 函数**：停止线程并将控制权返回给主线程。 - **`__exit__` 函数**：在退出时释放视频源。 #### 2. 加载对象检测模型 我们将使用与第 6 章中相同的预训练 SSD 模型来检测视频帧中的对象。如果您使用自己的图像训练了模型，也可以使用该模型，只需提供模型目录的路径。以下是从磁盘加载训练好的模型的代码： ```python # # Model preparation import pathlib import tensorflow as tf def load_model(model_path): model_dir = pathlib.Path(model_path) / "saved_model" model = tf.saved_model.load(str(model_dir)) model = model.signatures['serving_default'] return model model = load_model(model_path) ``` #### 3. 检测视频帧中的对象 检测对象的代码与第 6 章中用于相同目的的代码几乎相同。不同之处在于，我们创建了一个无限循环，在其中一次读取一个图像帧，并调用 `track_object()` 函数来跟踪该帧中的对象。`track_object()` 函数内部调用了与第 6 章中相同的 `run_inference_for_single_image()` 函数。 以下是实现无限循环以读取视频流帧并调用对象跟踪函数的代码： ```python # Function to implement infinite while loop to read video frames and generate the output #for web browser import cv2 import object_tracker as ot global lock cap = ot.VideoCaptureAsync() cap.start() def streamVideo(): global lock while (True): retrieved, frame = cap.read() if retrieved: with lock: frame = ot.track_object(model, frame) (flag, encodedImage) = cv2.imencode(".jpg", frame) if not flag: continue yield (b'--frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + bytearray(enc ```