Los modelos de IA MiniCPM-V de OpenBMB impulsaron una cámara casera para gatos que registró 89 veces que bebieron cuatro gatos durante tres días e identificó al gato correcto en cada ocasión, usando dos pequeñas placas ESP32 y un MacBook.
Conclusiones clave
OpenBMB publicó un proyecto de código abierto para construir un monitor de gatos que usa dos placas ESP32 y un MacBook para reconocer gatos y registrar cuándo beben
El repositorio describe un flujo de trabajo por niveles en el que un modelo local MiniCPM-V 1B filtra los fotogramas y un MiniCPM-V 35B en la nube confirma la identidad
La cámara detecta que un gato ocupa gran parte del encuadre cerca del cuenco y, entonces, activa comprobaciones adicionales en lugar de detectar el agua
El sistema almacena las horas de los eventos, las puntuaciones de confianza y los clips MP4 en registros respaldados por SQLite, y muestra los recuentos diarios en un pequeño panel
OpenBMB publicó el proyecto el jueves y enlazó un repositorio público de la desarrolladora emwstudio. El montaje utiliza una placa de cámara ESP32 para capturar vídeo y una placa ESP32 AMOLED para un panel en tiempo real.
OpenBMB desarrolla pequeños modelos multimodales, incluido MiniCPM-V, capaces de realizar tareas de visión con menos hardware que los sistemas en la nube de última generación.
El monitor de gatos MiniCPM-V convierte hardware de juguete en un sistema de visión
Lo más interesante no es el tema de los gatos, sino el diseño del sistema.
El repositorio muestra una arquitectura por niveles: un modelo local MiniCPM-V 1B se encarga de la primera revisión, de bajo coste, y plantea una pregunta sencilla —¿hay un gato en la imagen?—, mientras que un modelo más grande en la nube, MiniCPM-V 35B, revisa los casos más difíciles y confirma la identidad comparándola con imágenes de referencia.
Esta división reduce las llamadas innecesarias al costoso modelo y mantiene la tarea de vigilancia permanente en hardware de bajo coste, mientras que solo envía a la nube los casos inciertos.
El repositorio muestra dónde la IA en el borde permite ahorrar dinero de verdad
Las notas del proyecto indican que la cámara no detecta el agua directamente. En cambio, busca que un gato ocupe una parte suficientemente grande de la imagen cerca del cuenco y, entonces, activa comprobaciones adicionales.
Esa decisión importa porque la automatización doméstica fiable suele fallar cuando la detección se complica demasiado. Por eso, el montaje utiliza diferencias de fondo, umbrales sencillos y varios resultados positivos consecutivos antes de registrar un evento.
El modelo grande solo interviene después de que el sistema ya haya determinado que ha ocurrido algo que merece la pena revisar.
El resultado se parece menos a un chatbot en un dispositivo y más a un sistema de vigilancia por capas, en el que los modelos pequeños observan continuamente y los grandes evalúan los momentos menos frecuentes.
También lee: Anthropic ofrece gratis 4 de sus herramientas de agentes de IA para que las use cualquier desarrollador
De las demostraciones solo en la nube a la IA doméstica por capas
Hace un año, muchas demostraciones multimodales daban por sentada una conexión constante con la nube, lo que las hacía costosas, lentas y poco fiables cuando las cámaras permanecían encendidas todo el día. Este montaje adopta un enfoque más práctico.
Almacena las horas de los eventos, las puntuaciones de confianza y los clips MP4 en registros respaldados por SQLite, y luego muestra los recuentos diarios en un pequeño panel. Ese tipo de infraestructura es lo que convierte una demostración de IA en un dispositivo útil.
La lección general es que la IA en el borde se define cada vez más por el enrutamiento, no solo por el tamaño del modelo. El avance más rentable no consiste en comprimir un modelo para que quepa en una placa, sino en decidir qué fotogramas deben activar una llamada a un modelo más grande.
Cómo la arquitectura de visión en dos etapas de OpenBMB reduce los costes
En el diseño de emwstudio, la primera etapa utiliza MiniCPM-V-4.7-1B de forma local en un MacBook mediante cuantización con llama.cpp.
Ese modelo comprueba indicios de bajo coste, principalmente si el gato ocupa una parte suficientemente grande de la imagen. El sistema solo registra un evento después de varias comprobaciones positivas.
A continuación, MiniCPM-V-4.7-35B-A3B en la nube revisa los fotogramas del evento, los compara con la imagen de referencia de cada gato y determina si la escena muestra a uno bebiendo.
Para OpenBMB, esta arquitectura demuestra por qué importan los pequeños modelos multimodales: una cámara doméstica funciona todo el día, así que el coste no depende solo de la inteligencia, sino también de la frecuencia con que se utiliza. Al permitir que el modelo 1B descarte la mayoría de los fotogramas, el sistema reduce el gasto en la nube y el uso de ancho de banda, a la vez que mantiene disponible un modelo más potente para identificar y emitir el juicio final.
Este equilibrio importará más a los fabricantes de dispositivos que las puntuaciones en pruebas de referencia. Ahora habrá que ver si OpenBMB incorpora este patrón de enrutamiento a un software de referencia para otras tareas con cámaras, como el cuidado de personas mayores, el control de inventario o la supervisión de plantas de producción.
Lee a continuación: Anthropic ofrece a los compradores pruebas de que una respuesta de Claude no fue sustituida