En este tutorial aprenderás a implementar un sistema de reconocimiento de objetos utilizando inteligencia artificial. Usaremos la placa ESP32-S3 Cámara AI de DFRobot (DFR1154) para capturar imágenes, entrenaremos un modelo personalizado con Edge Impulse, y lo cargaremos al ESP32 para realizar detecciones en tiempo real mediante el monitor serie de Arduino IDE.
INTRODUCCIÓN
La inteligencia artificial en el borde (Edge AI) permite que dispositivos compactos como el ESP32-S3 Cámara AI procesen datos sin necesidad de conexión a la nube. Esto abre la puerta a soluciones eficientes y autónomas para tareas como reconocimiento visual, clasificación de objetos, control de acceso o automatización inteligente. En este proyecto, aplicaremos esta tecnología para desarrollar una solución práctica de detección de objetos en tiempo real.
Ahora que conoces el objetivo del proyecto, comencemos con el desarrollo paso a paso. Sigue cada sección con atención para que puedas replicar el sistema sin complicaciones.
MATERIALES
¡Manos a la obra! Antes de empezar, asegúrate de tener a la mano los siguientes materiales:
Otros recursos que necesitaremos:
- Arduino IDE
- Cuenta gratuita en Edge Impulse
- Conexión a Internet (WiFi 2.4Ghz)
DESARROLLO
¡Listo! Ahora sí, comencemos con el tutorial. Sigue los pasos que se indican a continuación.
1.- Configuración de entorno de programación
Para comenzar, utilizaremos el Arduino IDE como entorno de desarrollo. Asegúrate de tener lo siguiente listo:
- Instala el Arduino IDE
Descárgalo desde el sitio oficial:
👉 https://www.arduino.cc/en/software
(Si ya lo tienes instalado, puedes omitir este paso). - Agrega las placas ESP32
Abre el IDE y ve a Archivo > Preferencias.
En el campo “Gestor de URLs adicionales de tarjetas”, agrega la siguiente dirección:
👉 https://raw.githubusercontent.com/espressif/arduino-esp32/gh-pages/package_esp32_index.json - Instala las placas ESP32
Ve a Herramientas > Placa > Gestor de placas, busca “esp32” e instala el paquete oficial de Espressif Systems.
2.- Captura de imágenes con la ESP32 Cámara AI
Para capturar las imágenes del objeto que queremos reconocer, utilizaremos el ejemplo CameraWebServer compatible para Arduino IDE. Este ejemplo permite visualizar la cámara en tiempo real desde el navegador y guardar imágenes fácilmente.
Utilizaremos una versión modificada del ejemplo original para asegurar su compatibilidad con la ESP32 Cámara AI. Esta versión está basada en la documentación oficial disponible en la Wiki de DFRobots.
Así que sigue los siguientes pasos:
- Descarga el archivo
.ZIPcon el ejemplo modificado:
👉 CameraWebServer - Extrae el contenido del archivo comprimido.
- Abre el archivo CameraWebServer.ino en Arduino IDE.
- Ve a Herramientas > Placa y selecciona:
ESP32S3 Dev Module
5. Configura los siguientes parámetros en la tarjeta ESP32S3 Dev Module
6. Antes de cargar el código agrega tus datos de WiFi entre las comillas en el siguiente apartado del código:
// Datos de red WiFi const char* ssid = ""; // Nombre de la red WiFi const char* password = ""; // Contraseña de la red WiFi
7. Conecta la ESP32 Cámara AI a tu PC o Laptop con la ayuda del cable USB tipo C.
8. Selecciona el puerto COM que se asignó, lo puedes identificar con el nombre de (ESP32 Family Device).
9. Carga el código a la ESP32 y abre el monitor serie, espera a que se conecte a tu red WiFi.
10. Accede a la dirección IP mediante un navegador desde otro dispositivo conectado a la misma red.
11. Se abrirá el Web Server, después cambia la resolución por (240X240) y la calidad (Quality) a 4, después da clic en Start Stream, para ver la señal de la cámara.
Captura las imágenes directamente desde tu computadora haciendo clic en el botón “Save”, ubicado en la esquina superior derecha de la interfaz de la cámara. En el siguiente video se muestra como realizarlo.
12. Asegúrate de que el fondo donde colocas el objeto sea siempre el mismo y procura enfocar bien el objeto que quieres que el modelo reconozca. Esto ayuda a que el modelo se concentre en el objeto y no en el entorno. Mientras más imágenes tomes, mejor será la precisión del modelo. Para este tutorial, trabajaremos con un solo objeto, por ejemplo, un multímetro, y capturaremos únicamente 10 imágenes desde diferentes ángulos o perspectivas.
3.- Crear el modelo AI con Edge Impulse
Ahora que ya tienes las imágenes de tu objeto, es momento de crear el modelo de inteligencia artificial. Para ello, sigue los pasos que se indican a continuación:
- Crea una cuenta en Edge Impulse
- Inicia sesión y crea un nuevo proyecto
3. Haz clic en Add existing data para cargar las imágenes recopiladas.
4. Selecciona Upload data y carga la carpeta donde guardaste las imágenes del objeto a reconocer, también agrega una etiqueta y da clic en cargar.
5. Espera a que se carguen las imágenes y da clic en YES y después en Update data.
6. Después dirígete a Data acquisition > Labeling queue, marca el objeto a reconocer y asigne una etiqueta para su identificación.
7. Realice el paso anterior con todas las imágenes, quedara de la siguiente forma:
8. Ahora entrenaremos al modelo, para esto una vez etiquetadas todas las imágenes, dirígete Impulse desing > Create impuse. Saldrá la siguiente ventana la cual tienes que configurar los siguientes requisitos para que la optimización del modelo y el rendimiento sea para la ESP32 Cámara AI.
9. Después de agregar configurar los requisitos del dispositivo debes de agregar un Image y Objet Detection (Images) y dale clic en Save Impulse para crear y guardar el impulso. Sigue los siguientes pasos del video:
10. Vaya a la página image y haga clic e Save parameters.
11. Después dirígete a la pestaña Generate features y haga clic en Generate features para extraer características de la imagen.
12. Ahora dirígete a Object detection.
13. Luego haga clic en Save & train para entrenar el modelo.
14. Una vez finalizado el entrenamiento, revise el rendimiento del modelo. Ajuste los parámetros y vuelva a entrenar si es necesario.
Una vez que el modelo se ha entrenado correctamente, es posible validar su funcionamiento antes de cargarlo en la tarjeta ESP32-CAM AI. Para ello, usaremos tu teléfono. Dirígete al apartado Deployment y escanea el código QR que aparece.
Luego, espera a que el proyecto cargue por completo y acepta los permisos solicitados.
Una vez otorgados los permisos, podrás utilizar la cámara de tu teléfono para probar el reconocimiento en tiempo real con el modelo que acabas de entrenar. En el siguiente video se muestra que el modelo funciona correctamente:
4.- Implementación del modelo en la ESP32 Cámara AI
Una vez que el modelo de inteligencia artificial ha sido entrenado en Edge Impulse para reconocer el objeto u objetos deseados, el siguiente paso es descargar la librería para Arduino e integrarla en tu proyecto.
Usaremos la librería generada por Edge Impulse junto con el ejemplo edge_camera, el cual permite visualizar la cámara del ESP32 desde un servidor web local y mostrar en tiempo real los resultados de la detección.
Para lograrlo, sigue estos pasos:
- Genera la Liberia para Arduino IDE y elige la tarjeta ESP32, para esto dirígete a Deployment y sigue los siguientes pasos del video:
Si tienes dudas o quieres consultar como se configuro este proyecto puedes acceder a el ingresando al siguiente link:
2. Importa la librería que se descargo en el gestor de librerías de Arduino IDE
 |  |
3. Una vez que hayas importado la librería al Arduino IDE, descarga el siguiente archivo .zip. Este contiene el ejemplo edge_camera, el cual necesario para que el proyecto funcione correctamente.
3. Ya descargado el archivo .ZIP descomprímelo.
4. Ahora copia y pega el código de edge_camera en la siguiente ruta:
Documents\Arduino\libraries\Multimetro_inferencing\examples
5. Abre el código edge_camera.ino
6. En la primera línea del código, reemplaza el nombre de la librería generada por Edge Impulse con el correspondiente a tu proyecto.
Por ejemplo, si tu librería se llama multimetro_inferencing.h sustituye la línea:
#include <multi_inferencing>
Por:
#include <multimetro_inferencing.h>
7. De igual forma agrega agrega tus datos de WiFi entre las comillas en el siguiente apartado del código:
// Datos de red WiFi const char* ssid = ""; // Nombre de la red WiFi const char* password = ""; // Contraseña de la red WiFi
8. Antes de cargar el código asegúrate de tener lo siguiente seleccionado en la tarjeta ESP32 Cámara AI.
9. Sube el código y abre el monitor serie.
- Espera a que el dispositivo se conecte a tu red WiFi; verás la dirección IP asignada.
- Una vez que la IP aparezca en el monitor, ábrela desde cualquier navegador web para visualizar por el web server lo que la cámara esta visualizando.
- Y en el monitor serie visualizaras la detección del objeto como se muestra en el siguiente video.
CONCLUSIÓN
Este proyecto demuestra cómo es posible implementar soluciones de inteligencia artificial en tiempo real utilizando dispositivos accesibles como la ESP32-S3 AI Cámara. Gracias a la plataforma Edge Impulse, pudimos capturar imágenes, entrenar un modelo personalizado y ejecutarlo directamente en la ESP32.
Esto no solo facilita el desarrollo de sistemas eficientes y autónomos, sino que también abre un amplio abanico de aplicaciones, como control de acceso inteligente, clasificación de objetos, vigilancia local o automatización de tareas, utilizando únicamente hardware de bajo consumo y herramientas de código abierto.
Con este enfoque, cualquier persona interesada en combinar AI y electrónica puede comenzar a construir proyectos potentes y funcionales de forma sencilla.
