Día 9
Objetivo del día
Pasar del lift (coger el cubo y llevarlo a un punto en el aire) al pick and place: cogerlo del suelo y dejarlo en otro punto del suelo.
La tarea
Hice una tarea nueva a partir de la del lift, con estos cambios:
- El destino siempre está en el suelo, he quitado el currículo que iba subiendo la altura del objetivo.
- El cubo aparece en la mitad derecha y el destino en la mitad izquierda.
- Una recompensa nueva por dejar el cubo en el destino.
La recompensa de dejarlo
Paga solo si se cumplen tres cosas a la vez: el cubo está cerca del destino, toca el suelo y no lo sujetan los dos dedos.
Para “cerca” usé una campana de Gauss, exp(-distancia² / std²), con std = 5 cm. Vale 1 en el destino, 0,37 a 5 cm y casi 0 a 10 cm. Cuanto más cerca lo deja, más cobra.

El peso (10) tiene que ser mayor que el de llevar el cubo en el aire (5). Si no, al robot le compensaría quedarse sujetándolo en vez de soltarlo.
Entrenamiento
No empecé de cero: continué desde la red del lift, que ya sabía coger el cubo. En unos 80 minutos aprendió a dejarlo a menos de 1 cm del destino.
El problema de los encargos seguidos
En el visor vi que el primer encargo lo hacía perfecto, pero cuando el cubo y el destino cambiaban de sitio el brazo se quedaba quieto donde lo había dejado.
La causa: al cambiar de encargo se mueven el cubo y el destino, pero no el brazo. En el entrenamiento el encargo nunca cambiaba a mitad de episodio, así que la red siempre empezaba con el brazo en reposo y nunca aprendió a empezar desde abajo.
Lo arreglé haciendo que el encargo cambie cada 4–6 segundos durante el entrenamiento, y entrené 30 minutos más.

Inferencia
El programa de inferencia del día 8 sirvió casi igual, porque la red pide las mismas entradas. Solo cambié la red, la posición del cubo y el destino. Sin mjlab lo deja a 1 cm del destino en 1 segundo.
Resultado
Próximos pasos
- Empezar con la puerta.