Mover cursor
Mão aberta. O cursor acompanha um ponto estável da mão.
hand_tracking.exe
python / mediapipe
controle o cursor com a mão
Um projeto open-source que usa webcam, MediaPipe e Python para transformar gestos da mão em comandos reais do mouse: mover, clicar, pausar e arrastar.
MEDIAPIPE HANDS
21 POINTS
// overview
o que é o projeto
O AI Virtual Mouse Controller é um sistema de controle gestual que permite usar a mão como interface de mouse. Ele foi criado para explorar novas formas de interação com o computador usando visão computacional, sem precisar de hardware especial.
A proposta é simples: abrir a webcam, detectar os pontos da mão, reconhecer gestos e converter esses gestos em ações reais do cursor.
MediaPipe_Tracking.preview
live frame
// como funciona
da câmera até o clique
O sistema captura frames da webcam, passa a imagem para o MediaPipe Hands, recebe landmarks da mão e usa regras de detecção para entender se você está movendo, clicando, pausando ou arrastando.
- Webcam comum como entrada
- MediaPipe Hands para rastreamento
- Python para lógica e automação
- Filtros para reduzir tremores
- Gestos convertidos em ações reais do mouse
// gestos principais
da mão para o sistema
Clique esquerdo
Polegar e indicador se encontram para clicar.
Clique direito
Polegar e dedo médio ativam o menu de contexto.
Pausar
Punho fechado congela o cursor temporariamente.
Duplo clique
Faça o sinal de paz com indicador e dedo médio para executar o duplo clique.
// instalação rápida
como usar
Instale as dependências, execute o projeto e posicione sua mão em frente à webcam. Para instruções completas, acesse o guia.
terminal
git clone https://github.com/ognistie/ai-virtual-mouse-controller.git
cd ai-virtual-mouse-controller
python -3.11 -m venv .venv
.\.venv\Scripts\Activate.ps1
pip install -r requirements.txt
python main.py