Hagan memoria: ¿recuerdan algún fallo de un datacenter?

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.872
Acudo a vuestra memoria colectiva. ¿recuerdan algún fallo o incidente en algún datacenter? Noticias, datacenter propio, de un amigo. Estoy buscando experiencias reales y nacionales de incidentes graves en un datacenter y como se manejaron.

¿Inundación? ¿Incendio?¿Terremoto? ¿Tenían plan de contingencia? ¿Se demoraron mucho en volver a estar operativos? Etc, etc.

Gracias
 

nibal2

pajarón nuevo
MOD
Se incorporó
15 Junio 2007
Mensajes
2.898
Te refieres a empresas con servicio de datacenter (o datacenter de empresas grandes) o incluyes a empresas chicas con espacio asignado para servidores?

Imagino que incluye a las pequeñas, voy a contar una.

En una municipalidad, había una oficina donde estaba informática, y dentro de la oficina había un rincón cerrado con vidrio donde estaban los servidores. Este espacio tenía una red segura de energía, pero cuando conectaron adornos navideños del edificio, esta red segura quedaba mas cerca, así que los que instalaron las luces (que no tenían idea de informática y tampoco se asesoraron con el dep de informática) adaptaron un alargador con enchufe magic y las encendieron. A los días hubo un corte eléctrico en las luces navideñas, provocando un corte general, y fundiendo discos duros, algunos de ellos con respaldo almacenados dentro de los mismos.

Luego de este episodio, pasaron todos estos servicios a un datacenter, ubicado en el centro de la ciudad. Con el paso del tiempo, se dieron cuenta que este datacenter está ubicado en zona de inundación de tsunamis, no pasó nada grabe, pero pudo pasar. Actualmente, tienen un segundo datacenter que solo almacena respaldos (desconozco si tienen espejos de los servidores) ubicado en Santiago.
 
Última modificación:

Sago7

Tibetan Mod
Miembro del Equipo
MOD
Se incorporó
5 Julio 2006
Mensajes
6.152
Si, cuando para el terremoto varias maquinas dejaron de funcionar y la causa fue porque los equipos no estaban anclados al piso. Se movieron y se desenchufaron. LOL
 

alex_xp

Gold Member
Se incorporó
12 Octubre 2004
Mensajes
2.613
Yo tengo uno.
Cuando trabaja en Telmex en mi área teníamos unos servidores en el datacenter que tiene la empresa en sus propias dependencias, los cuales daban servicios a clientes residenciales (los servidores que yo veía) y otros equipos (dependientes de otras áreas).
Un día Chilectra anuncia que va a cortar la luz en el sector donde se encuentra la empresa por varias horas ya que iban a reemplazar varios postes, entonces la empresa se preocupo de mantener el banco de baterías y el grupo electrógeno (que alimentan al edificio) listo para ese fin de semana.
Día Domingo me llaman de emergencia que se corto la luz (por los trabajos) y el grupo electrógeno no quiso levantar y ya llevaban su par de horas sin luz (se habían agotado las baterías, que dicho sea de paso duraban un moco para semejante edificio) y que iba un camión con un grupo electrógeno para levantar los servicios.
Cuando llego estaba un camión con un grupo electrógeno gigante metido en el estacionamiento, subo al datacenter los servidores y demás equipos ya habían levantado así que llegue a inspeccionar si los servicios estaban operativos.
Al final hubo un cagazo con el grupo electrógeno (no me recuerdo la falla especifica) este no quiso levantar y hubo que meter varias lucas para repararlo, más la lukas que cobraron por el arriendo del grupo electrógeno de emergencia que se quedo por varios días más, más las lukas que cobró el callcenter por recibir los reclamos de los clientes sin servicios, más las multas que debieron pagar por los servicios empresariales no prestados.
 

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.872
Gracias por las experiencias.

Además del relato del problema propiamente tal, les agradecería si me pueden contar cual fue el impacto que tuvo para la gerencia o el área de negocios. Por ejemplo, para el caso que relata @alex_xp me imagino que al final el corte de energía tuvo un costo monetario importante. Bueno, eso.

@nibal2 , cuando perdieron discos y respaldos, ¿cómo siguieron operando? ¿Les afectó mucho la pérdida de esa información en sus labores cotidianas?
 

alex_xp

Gold Member
Se incorporó
12 Octubre 2004
Mensajes
2.613
me imagino que al final el corte de energía tuvo un costo monetario importante.
Por supuesto el fallo implico varios millones de costo pero ademas de eso se vieron afectados los KPI de la gerencia en su totalidad y estos datos fueron escalando hasta México así que te imaginaras el falometrico que llego.
 

nibal2

pajarón nuevo
MOD
Se incorporó
15 Junio 2007
Mensajes
2.898
@nibal2 , cuando perdieron discos y respaldos, ¿cómo siguieron operando? ¿Les afectó mucho la pérdida de esa información en sus labores cotidianas?
Si mal no recuerdo fue un fin de semana, al lunes ya estaba todo arriba, menos los correos. No se pudo recuperar el servidor de correos, por lo que no quedó nada del historial de alrededor de 3 años.

Afectó en el sentido que se pierde el historial de conversaciones, reenviar los mandatos efectuados en los últimos días. A nivel de jefatura fue mas problemático, pero técnicamente no tenía relación con ellos, así que no puedo profundizar en los daños.

Las malas lenguas decían que hubo beneficios, porque se eliminó por completo información dañina para ciertas personas.
 

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.872
Última modificación:

Eliezar

mi gato :D
Se incorporó
1 Febrero 2007
Mensajes
4.848
se supone que es el data de Claro y es TIER 3.......

Ahora no se que paso con santander y su caida , que alguien metido en las plataformas de banca nos expliquen como operan con sitemas onda transbank
 

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.872
se supone que es el data de Claro y es TIER 3.......

Ahora no se que paso con santander y su caida , que alguien metido en las plataformas de banca nos expliquen como operan con sitemas onda transbank

Creo que Santander estaba en el mismo datacenter.
 

Soujiro

Fanático
Se incorporó
14 Enero 2008
Mensajes
1.428
Es ovbio que no es Tier 3, si un corte de energía los deja down significa que no realizan las pruebas de grupo electrogeno/ups con la periodicidad requerida. La clásica de cumplir en el "papel" pero no en la practica.

Algo que vi en varios datacenters, fue patear mantenciones de los equipos ups/electrogenos por que "se podía" caer el data. Pero resulta que a la hora que en verdad necesitan los equipos no funcionan por que no han comprobado su correcta operación en meses/años.

Otra cosa que también pasa es cuando inauguran salas nuevas con infraestructura no probada, al menos eso fue lo que le paso al datacenter de entel en ciudad de los valles al inicio de su operación con un modelo "nuevo" de ups apc.
 

Eliezar

mi gato :D
Se incorporó
1 Febrero 2007
Mensajes
4.848
santander paso todo el dia de ayer caido y hoy recien anda

debe ser culpa de @vitokko
 
Subir