Por acá con nvidia desde hace unos 4 años (antes alternaba frecuentemente) y debo decir que soy de los que no cambia tan seguido los drivers, generalmente lo hago cuando traen solución a problemas que he experimentado, mejoras de rendimiento en juegos que esté jugando o alguna característica nueva. Al menos en mi caso, puedo decir que sí he notado mejoras en rendimiento, tal vez por el mismo hecho de pegarme "saltos grandes" entre generaciones de drivers, en vez de actualizar cada vez que sale uno.
Lo de quemar tarjetas, recuerdo que un par de casos de drivers que se hicieron famosos por ello, pero no parece ser el caso con los de ahora (no es tan raro ver casos anecdóticos de personas que se les muere la tarjeta al cambiar el driver, no sólo con nvidia, puede ser simple coincidencia).
Y mi experiencia previa con Ati/AMD no fue mala tampoco, tal vez s eles pueda reprochar que son algo lentos en introducir mejoras para los juegos recién salidos, pero si no se es de los que "necesita" jugar un juego apenas sale, no creo que deban haber problemas. Distinto es el caso en Crossfire, donde todavía la solución que entrega el SLi la encuentro mejor, no en lo referente al aumento en fps, si no que a la variabilidad del frametime.