Día 3
Objetivo del día
Investigar si es viable aplicar aprendizaje por refuerzo (RL) a un brazo robótico. La tarea concreta todavía no está decidida.
Investigación sobre RL en brazos robóticos
Lo que saco en claro:
-
Es viable en simulación, pero hay que ir por etapas: lo habitual es entrenar primero con la posición exacta de los objetos y después pasar a que el robot solo use la cámara.
-
mjlab, el framework que se usa en el laboratorio, ya tiene una tarea parecida: un brazo que levanta un cubo con una cámara en la muñeca, entrenando muchos entornos en paralelo en la GPU.
-
Lo que me tocaría programar es la definición del problema: la escena, qué ve el robot, qué acciones puede hacer y las recompensas.
-
Tareas posibles para el brazo: empujar objetos, agarrar según la forma, coger y dejar (pick & place), apilar o insertar piezas.
Elección del framework
En principio escogemos mjlab: mi portátil cumple el requisito mínimo (una GPU de NVIDIA, aunque recomiendan la serie RTX 40 y tengo que comprobar si va bien con 6 GB), simula en MuJoCo, permite añadir el brazo que queramos y ya hay compañeros del laboratorio usándolo con un bípedo.
Descartados:
- MuJoCo Playground: buena alternativa, pero con otro formato y sin nadie en el laboratorio que lo use.
- Isaac Lab: Isaac Sim pide como mínimo una RTX 4080 de 16 GB, 32 GB de RAM y driver 595; yo tengo una RTX 3060 Laptop de 6 GB, 31 GB y driver 580.
- ManiSkill: no usa MuJoCo, sino SAPIEN.
- robosuite: simula la física en la CPU, muy lento para entrenar con cámaras y muchos entornos.
Algoritmo de RL: PPO o SAC
- PPO actualiza la red cada cierto número de simulaciones y después las olvida: necesita muchas más simulaciones, pero cada una cuesta menos y ocupa poca memoria.
- SAC guarda las simulaciones en una memoria y las reutiliza: aprende con menos, pero cada una cuesta más.
Escojo PPO: voy a simular en la GPU con muchos entornos, la memoria de SAC con imágenes no cabría en 6 GB, es más estable y es el que trae mjlab.
La cámara
Mi profesor sugirió empezar con una cámara externa, pero como el ejemplo de mjlab usa la cámara de la muñeca, empiezo con esa.
Para que el robot aprenda a usar la cámara hay dos opciones, y lo decidiré con datos:
-
RL puro: todo se aprende con RL; el actor solo ve la cámara y el crítico (que solo se usa al entrenar) ve la posición exacta del objeto. Mjlab ya tiene un ejemplo así, pero aprender a ver solo con la recompensa es difícil.
-
Profesor-alumno: un “profesor” aprende con RL sabiendo dónde está el objeto y un “alumno” con cámara aprende copiándole. Es más fácil, pero la parte del alumno no es RL y nunca supera al profesor.
¿Se puede pasar a un robot real?
Sí, aunque se pierde algo de rendimiento respecto a la simulación. Algunos trabajos que lo consiguen: MuJoCo Playground (Franka Panda), ManiSkill3, TAPG (UR5), Squint (SO-101) y DextrAH-RGB (mano robótica). Para prepararlo hay que variar mucho las condiciones en simulación (luz, colores, fricción…).
Elección del brazo
El UR5e lo cogí como ejemplo para empezar; el brazo definitivo lo decidiremos más adelante.