使用 OpenCV 和 Mediapipe 库实现手指计数_mediapipe 0.10.21 requires-CSDN博客

本文链接：https://blog.csdn.net/qq_40243750/article/details/145720335

1. 引言

手指计数是一种常见的计算机视觉任务，广泛应用于人机交互、手势识别等领域。本教程介绍如何使用 OpenCV 和 Mediapipe 库实现手指计数，并提供详细的代码示例。

2. 环境准备

2.1 安装依赖库

在开始之前，我们需要安装 OpenCV 和 Mediapipe。这两个库可以通过 pip 轻松安装。

pip install opencv-python mediapipe numpy

2.2 导入库

import cv2
import mediapipe as mp
import numpy as np

3. Mediapipe Hands 模型介绍

Mediapipe 提供了一个高效的手部检测和关键点识别模型，能够检测 21 个手部关键点。

mp_hands = mp.solutions.hands
mp_draw = mp.solutions.drawing_utils
hands = mp_hands.Hands(static_image_mode=False, max_num_hands=2, min_detection_confidence=0.5)

4. 处理摄像头输入

我们使用 OpenCV 读取摄像头视频流，并将其传递给 Mediapipe 进行处理。

cap = cv2.VideoCapture(0)

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    
    # 反转图像，使其符合人眼视觉习惯
    frame = cv2.flip(frame, 1)
    rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    
    results = hands.process(rgb_frame)
    
    if results.multi_hand_landmarks:
        for hand_landmarks in results.multi_hand_landmarks:
            mp_draw.draw_landmarks(frame, hand_landmarks, mp_hands.HAND_CONNECTIONS)
    
    cv2.imshow('Hand Tracking', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

5. 识别手指数量

手指计数的核心思路是判断手指是否伸直，我们可以使用关键点的 Y 坐标进行判断。

def count_fingers(hand_landmarks):
    finger_tips = [8, 12, 16, 20]  # 食指、中指、无名指、小指的指尖索引
    thumb_tip = 4  # 拇指指尖索引
    
    finger_count = 0
    for tip in finger_tips:
        if hand_landmarks.landmark[tip].y < hand_landmarks.landmark[tip - 2].y:
            finger_count += 1
    
    # 处理拇指，判断是否张开
    if hand_landmarks.landmark[thumb_tip].x > hand_landmarks.landmark[3].x:
        finger_count += 1
    
    return finger_count

6. 显示手指计数结果

我们在摄像头画面上显示手指数量。

while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break
    
    frame = cv2.flip(frame, 1)
    rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    results = hands.process(rgb_frame)
    
    if results.multi_hand_landmarks:
        for hand_landmarks in results.multi_hand_landmarks:
            mp_draw.draw_landmarks(frame, hand_landmarks, mp_hands.HAND_CONNECTIONS)
            fingers = count_fingers(hand_landmarks)
            cv2.putText(frame, f'Fingers: {fingers}', (50, 50),
                        cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2, cv2.LINE_AA)
    
    cv2.imshow('Hand Tracking', frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()