así es
cuando un servidor activa un servicio común (web o correo) suele activar el puerto correspondiente a cada servicio usando el puerto estándar (25 para entrada smtp, y 80/443 para entrada web)
y esto siempre es como conexión entrante, ya que los clientes (y servidores externos que envían correo también) usan un puerto aleatorio/efímero (puerto aleatorio superior al 1024) como puerto de origen o "salida"
esto es por protocolo de estos servicios, ya que hay algunas escepciones que usan el mismo puerto de salida, pero la gran mayoría usa puertos aleatorios/efímeros.
de esa forma los ISP pueden filtrar que si alguien se quiere conectar a una IP externa al puerto 25, siempre será para enviar correos, y así pueden bloquearlo para rangos residenciales .
para terminar, los puertos de salida (aleatorios o efímeros ) siempre son temporales, ya que así pueden ser usados para que varios(muchos) usuarios puedan conectar a servicios externos saliendo por una sola IP pública ,ya que al terminar la transmisión o petición, después de unos segundos sin uso, la conexión es cortada y el puerto liberado