2 minute read

Objetivo del día

Separar el entrenamiento de la inferencia: hacer un programa que use la red ya entrenada (día 7) sin mjlab, solo con MuJoCo.

Entrenar e inferir

  • Entrenar es lo que hacía con uv run train: mjlab, PPO, muchos robots en paralelo y recompensas. El resultado es la red, que mjlab exporta en formato ONNX.
  • Inferir es usar esa red sin aprender nada más. Solo hace falta MuJoCo (la física), la red y un bucle que las conecte, igual que en un robot real.

La escena la exporté de mjlab con uv run export-scene Tfg-Lift-Cube-Yam-Depth, pero no incluía las mallas del brazo ni la física del entrenamiento así que las añadí al .xml.

Qué pide la red

  Forma Contenido
Entrada obs 26 números posición de las articulaciones respecto al reposo (8), velocidades (8), acción anterior (7) y objetivo visto desde la pinza (3)
Entrada camera 32×32 imagen de profundidad de la muñeca, recortada a 0,5 m y dividida entre 0,5
Salida actions 7 números una por motor (6 articulaciones y la pinza)

La salida no es directamente la posición de los motores: mjlab la escala para que la red trabaje con números parecidos y cerca de 0, y la cuenta desde la postura de reposo. Así que el objetivo de cada motor es acción × escala + postura de reposo. La escala y la postura de reposo vienen guardadas dentro del .onnx.

El bucle

mientras el visor esté abierto:
    montar la observación y la imagen desde MuJoCo
    acción = red(observación, imagen)
    motores = acción × escala + reposo
    4 pasos de física (la red decide 50 veces por segundo, como al entrenar)

El problema de la cámara

Al principio el robot empujaba el cubo y se quedaba quieto. Comparando con mjlab desde el mismo estado, la observación era idéntica pero la imagen no: la cámara de la muñeca está definida como rectangular (1280×720) y, al hacer una foto cuadrada de 32×32, mjlab recorta el centro mientras que MuJoCo la estira. La red veía un ángulo distinto al del entrenamiento. Lo arreglé fijando el ángulo de visión de la cámara a 58°, el mismo que veía mjlab.

La misma imagen de la cámara de la muñeca recortada (como en el entrenamiento) y estirada (como al principio en mi programa)

Izquierda: lo que veía la red al entrenar. Derecha: lo que le llegaba en mi programa antes del arreglo. Arriba en color, abajo la profundidad de 32×32 que recibe la red.

Resultado

Con el cubo en (0,30; 0; 0,02) m y el objetivo en (0,40; 0; 0,15) m, el robot coge el cubo y lo lleva a menos de 2 cm del objetivo en 1 segundo, igual que la misma red dentro de mjlab.

Conclusiones

  • La inferencia funciona sin mjlab.
  • Lo importante es que todo sea igual que en el entrenamiento: observaciones, cámara, física y frecuencia. Una diferencia pequeña en la cámara bastó para que fallara sin dar ningún error.

Próximos pasos

  • Medir el éxito con muchas posiciones al azar del cubo y del objetivo.
  • Pick and place: coger el cubo y dejarlo en otro sitio.

Updated: