https://
v1.0.6 · código aberto
Controle seu computador com gestos da mão.
O AI Virtual Mouse Controller transforma movimentos reais da mão em comandos do sistema operacional usando visão computacional, reconhecimento de gestos e uma interface holográfica em tempo real.
MediaPipe
Visão Computacional
Reconhecimento de Gestos
Overlay Holográfico
Python
Open Source
01 · Sistema ao vivo
Painel de rastreamento em tempo real
Um vislumbre do que o sistema vê, interpreta e executa — landmark por landmark, frame por frame.
fps
58.4/60
latência
12.7ms
confiança
0.94
cursor
847, 412
entrada · stream webcam
gesto atual
open_hand
ação
MOVE
overlay holográfico
ativo
landmarks
21rastreados
mapa de gestos
- open_hand → MOVE
- pinch → CLICK
- pinch_middle → RIGHT_CLICK
- peace → DOUBLE_CLICK
- fist → PAUSE
polegar: 4 landmarks
indicador: 4
médio: 4
anelar: 4
mindinho: 4
palma: 1 origem
02 · Conceito
Uma nova camada entre mão, câmera e sistema.
Três subsistemas trabalham em sequência — capturando, interpretando e traduzindo gestos em ações no sistema operacional.
VER
Capturar
O stream da webcam é processado pelo MediaPipe Hands, que detecta 21 landmarks por frame com baixa latência na CPU.
ENTENDER
Interpretar
Landmarks alimentam uma máquina de estados de gestos. Distâncias, ângulos e velocidades dirigem a classificação com debounce e gating de confiança.
AGIR
Executar
Gestos confirmados se traduzem em eventos do sistema — movimento de cursor, cliques, arrastes e pausas entregues via pyautogui.
03 · Capacidades
Feito para interação real.
Um conjunto focado de gestos e comportamentos — cada um ajustado para controle de baixa latência sem sacrificar precisão.
cursor
Controle do cursor
Move o cursor do sistema traduzindo suavemente a posição da mão, com filtragem adaptativa e zona morta.
click
Clique esquerdo
Gesto de pinça entre polegar e indicador detecta a intenção via velocidade e threshold de contato.
right_click
Clique direito
Pinça polegar-médio com guard do indicador isola a intenção de menu de contexto do clique normal.
drag
Arrastar e soltar
Pinça sustentada além do hold threshold entra em modo de arrasto, soltando ao abrir a mão.
double_click
Duplo clique
Sinal de paz dispara um duplo clique preciso com intervalo sintético reconhecido pelo SO nativo.
pause
Gesto de pausa
Punho fechado congela o cursor — útil para leitura estável ou reposicionamento da mão.
overlay
Mão holográfica
Overlay de mesh 3D renderizado com ModernGL — palma anatômica, dedos e polegar rastreados em tempo real.
smoothing
Rastreamento suave
Filtro OneEuro adapta à velocidade do movimento — estável quando parado, responsivo quando se move.
cpu
Sem GPU
GPU não é necessária. O modelo lite do MediaPipe entrega rastreamento a 60 fps em CPUs modernas.
04 · Interface Holográfica
A mão holográfica transforma rastreamento invisível em uma interface visível.
Uma segunda camada visual que segue os mesmos 21 landmarks que o sistema usa para interpretar seus gestos. Renderizada em 3D com ModernGL, a mão holográfica é anatomicamente contínua — palma fundida com os dedos, polegar embutido no thenar, curvas orgânicas em cada articulação.
- render Mesh 3D via ModernGL + shaders GLSL. VBOs persistentes, cache de mesh, caps hemisféricos nos dedos.
- material Corpo azul profundo com rim ciano via fresnel — visível em qualquer fundo, claro ou escuro.
- anatomia Palma em superfície lofted, dedos com seção elíptica, knuckle bulge no PIP, fusão com a thenar.
- overlay Janela transparente fullscreen, click-through nativo, opcional via a tecla H.
pressioneHpara alternar
holograma · prévia ao vivo
vértices769
triângulos1528
backendModernGL
fps60
05 · Arquitetura
Pipeline, ponta a ponta.
Seis estágios da webcam até o comando do cursor — cada um isolado, observável e substituível.
01
Entrada webcam
02
MediaPipe Hands
03
Processamento
04
Máquina de gestos
05
Camada de cursor
06
Renderer holográfico
06 · Instalar
Rode localmente em minutos.
Clone, instale as dependências e inicie o controller. Funciona no Windows, macOS e Linux.
- Python 3.10 ou superior
- Webcam (integrada ou USB)
- 2GB de RAM, CPU moderna
- GPU não é necessária
$ pip install ai-virtual-mouse-controller
$ avmc
07 · Código aberto
Ainda no começo, Contribuições bem-vindas.
Experimentos, issues, feedback técnico e pull requests — tudo é apreciado. Este é um projeto guiado por pesquisa.
Issues
Reporte bugs, peça recursos, compartilhe casos extremos.
github →Pull Requests
Envie código. Melhorias, refatorações, otimizações.
github →Experimentos
Novos gestos, render passes, modelos — faça fork e experimente.
github →Roadmap
O que vem: modelo MANO, suporte multi-mão, perfis customizáveis.
github →Construa a próxima camada de interação humano-computador.
Open source, técnico e feito para builders que se importam com a interação em si.