No para nada, yo corro 16 imágenes en Docker en mi rpi (tb ARM) y anda filete, la verdad es que no noto diferencia en cuanto a rendimiento entre nativo y virtualizado. Lo único que hay que tener ojo es que la imagen que quieras ocupar está compilada para ARM, de lo contrario no correrá.
En MacOS cambia un poco la cosa pq el kernel que tiene es como el hoyo para virtualizar, Docker tiene atados con NFS, tanto Docker como VirtualBox tienen atados con volúmenes compartidos y alocación de RAM, todos problemas que tienen que arreglar en el kernel de MacOS pero que no lo han hecho. Es tan pero tan penca MacOS en este sentido que el rendimiento en Windows es bastante mejor. No llega al rendimiento que obtendrían en un Linux, pero se están acercando; por lo que he leído; WSL2 será un gran paso para Windows hacia el Open-Source.
ARM por el otro lado es un competidor bastante serio, específicamente pq puedes hacer muchísimo con muy baja temperatura y uso de energía. Es tan bueno que una raspberry pi 4 con un SSD (todo alimentado con apenas 5v) es perfectamente
ocupable como PC de escritorio para uso normal: con la tecnología actual que hay para enfriar un procesador Intel, si le pones eso mismo a un ARM se mantendrá a temperatura ambiente prácticamente aunque esté a full trabajando.
Saludos.