Brazo Robot: carrito autónomo con visión e IA
6 screenshots

Brazo Robot: carrito autónomo con visión e IA

Carrito con brazo robótico que reconoce objetos con YOLO y va por ellos: ESP32, servos, cámara, Python y Firebase. Proyecto del Tec presentado en la Expo Ingenierías 2023.

Proyecto del Tec de Monterrey (otoño de 2023), presentado en la Expo Ingenierías el 24 de noviembre de 2023.

Qué es

Un carrito autónomo con un brazo robótico encima. Una cámara manda video a una inteligencia artificial de visión que corre en Python en una computadora; la IA reconoce objetos y le dice al carrito, controlado por un ESP32, hacia dónde moverse. La idea: pedirle un objeto concreto, que lo encuentre, lo tome con el brazo y regrese.

Qué hicimos

  • Carrito: cuatro motores de 5 V DC controlados por un ESP32.
  • Brazo: brazo robótico con servomotores (garra, codo, hombro y base), montado sobre el carrito.
  • Visión: detección de objetos con YOLO en Python a partir de la cámara (ESP32-CAM).
  • Control web: un panel «IOT Car and arm Controls» con controles para cada articulación, velocidad y grabar y reproducir movimientos.
  • Datos: cada objeto reconocido se guarda con sus coordenadas y la hora de detección en Firebase.

Cómo avanzó

  • Avance 1 (septiembre): construcción y pruebas de materiales.
  • Avance 2 (octubre): ensamble y primeras pruebas de código.
  • Avance 3 (noviembre): servos nuevos para mejorar el brazo, consumo de energía y ajustes de código.
  • Expo Ingenierías: presentación del prototipo funcionando.

Lo que aprendimos

El mayor reto fue la energía: motores, servos y cámara peleaban por la misma alimentación. Y una lección clara: nos quedamos con el modelo base de YOLO en lugar de entrenarlo con nuestros propios objetos, y eso limitó lo que el brazo podía reconocer.

Screenshots

6 capturas