Diseñador de flujo de trabajo visual (NGUI)

• Flujos de trabajo basados ​​en nodos (secuencia, acción, condicional, nodos LLM).
• Vista de gráfico: zoom, panorámica, diseño automático, selección múltiple, gestión de conexión.
• Menús contextuales, barra de herramientas y tema oscuro con constantes de interfaz de usuario personalizables.
• Diálogos de configuración para propiedades de nodo, alternativas, condiciones avanzadas y configuraciones LLM.
• Operaciones de archivo: cadenas nuevas/abrir/guardar; controles de ejecución; gestión de vistas.

Grabadora — Sistema de captura de acción

• Element Recorder organiza el mouse, el teclado, el desplazamiento y las capturas de pantalla.
• Administrador de secuencias con metadatos, serialización JSON y ciclo de vida de la sesión.
• Administrador de capturas de pantalla: captura automática de región por clic, directorios organizados.
• Scroll Manager: detección de ráfagas, seguimiento de dirección, análisis de tiempos.
• Controlador de teclado: seguimiento de modificadores, combos especiales (Ctrl+C/V/X/A), almacenamiento en búfer de texto.
• Controlador de ratón: detección de clics y arrastres, umbrales, coordenadas precisas.
• Agrupación de acciones inteligentes para ráfagas de desplazamiento y secuencias de texto escrito.
• Retroalimentación en tiempo real con mensajes de estado y recuentos de acciones.

Reproductor — Motor de automatización inteligente

• Bot base con movimiento similar al humano, retrasos inteligentes y recuperación de errores robusta.
• Reproductor de secuencias para la ejecución de secuencias individuales desde JSON.
• Reproductor multisecuencia para encadenamiento, bucles, ramificaciones condicionales y alternativas.
• Coincidencia de plantillas de visión artificial: múltiples escalas, restricciones regionales, umbrales de confianza.
• Controladores de acciones: clic, teclado, desplazamiento, arrastrar, portapapeles.
• Alternativas avanzadas: reintentos basados ​​en posición, región, escala y tiempo.

Integración de IA

• Nodos LLM para llamar a modelos locales de Ollama para tomar decisiones y generar texto.
• Modelos con capacidad de visión para analizar capturas de pantalla e impulsar la ramificación.
• Selección de modelo configurable, URL de API, indicaciones y variables de salida.
  
  

Formatos y registro

• Secuencia JSON con metadatos y acciones detalladas
• Configuración de cadena JSON para flujos de trabajo multisecuencia
• Gráfico de nodos JSON para flujos de trabajo visuales
• Registro completo ( graphui_debug.log, automation.log, y otros)

API y razonamiento

• Servidor FastAPI con puntos finales de estado, listado de modelos, chat, generación, razonamiento ComoRAG y administración de memoria
• Motor de razonamiento ComoRAG con espacio de trabajo de memoria dinámica, razonamiento multiciclo, puntuación de confianza y consolidación.

Interfaz gráfica de usuario

• GUI de PyQt5 para gestión de modelos, razonamiento interactivo, visor de memoria, registros y configuraciones.

Model & System Integration

• Ollama local models with auto-pull support
• Optional vLLM configuration hooks
• Tailscale support for secure remote access over LAN
• Flexible JSON config with environment overrides

Features — Computer Vision (Optional)

• YOLOv8 ONNX model for object detection (Computer_Vision_1.5.3.onnx)
• Utility scripts for model-driven vision (yolov8-Computervision/model_vision.py)
• Label descriptions and view outputs for validation
• Complementary to LoOper screenshot-based template matching

Prerequisites

• Windows (primary support)
• Python 3.8+ (3.12 supported)
• Recommended: 8GB+ RAM (16GB+ for larger models)
• Optional: NVIDIA GPU with CUDA for accelerated LLM inference