Aca lo explican clarito
https://ropenscilabs.github.io/r-docker-tutorial/04-Dockerhub.html
En resumen, bajas la imagen a tu docker repo local con pull o la construyes con build, la taggeas con tu propio tag y luego le puedes hacer push a la docker registry donde tengas permisos de destino