Pensaba hacer una guía detallada, pero es tan simple que no vale la pena.
Hay que bajar el svg_see_x64.exe (para Windows de 64 bits) desde Github:
https://github.com/tibold/svg-explorer-extension/releases
Se instala y automáticamente ya se ven las vistas previas.