1 minute read

Objetivo del día

Pasar del lift (coger el cubo y llevarlo a un punto en el aire) al pick and place: cogerlo del suelo y dejarlo en otro punto del suelo.

La tarea

Hice una tarea nueva a partir de la del lift, con estos cambios:

  • El destino siempre está en el suelo, he quitado el currículo que iba subiendo la altura del objetivo.
  • El cubo aparece en la mitad derecha y el destino en la mitad izquierda.
  • Una recompensa nueva por dejar el cubo en el destino.

La recompensa de dejarlo

Paga solo si se cumplen tres cosas a la vez: el cubo está cerca del destino, toca el suelo y no lo sujetan los dos dedos.

Para “cerca” usé una campana de Gauss, exp(-distancia² / std²), con std = 5 cm. Vale 1 en el destino, 0,37 a 5 cm y casi 0 a 10 cm. Cuanto más cerca lo deja, más cobra.

Premio por dejar el cubo según la distancia al destino

El peso (10) tiene que ser mayor que el de llevar el cubo en el aire (5). Si no, al robot le compensaría quedarse sujetándolo en vez de soltarlo.

Entrenamiento

No empecé de cero: continué desde la red del lift, que ya sabía coger el cubo. En unos 80 minutos aprendió a dejarlo a menos de 1 cm del destino.

El problema de los encargos seguidos

En el visor vi que el primer encargo lo hacía perfecto, pero cuando el cubo y el destino cambiaban de sitio el brazo se quedaba quieto donde lo había dejado.

La causa: al cambiar de encargo se mueven el cubo y el destino, pero no el brazo. En el entrenamiento el encargo nunca cambiaba a mitad de episodio, así que la red siempre empezaba con el brazo en reposo y nunca aprendió a empezar desde abajo.

Lo arreglé haciendo que el encargo cambie cada 4–6 segundos durante el entrenamiento, y entrené 30 minutos más.

Porcentaje de éxito en encargos seguidos, antes y después del arreglo

Inferencia

El programa de inferencia del día 8 sirvió casi igual, porque la red pide las mismas entradas. Solo cambié la red, la posición del cubo y el destino. Sin mjlab lo deja a 1 cm del destino en 1 segundo.

Resultado

Próximos pasos

  • Empezar con la puerta.

Updated: