como funcionaban y como funcionan los HDD de los servidores ???

3dfx0headhunter

3dfx0headhunter

Fanático
Se incorporó
17 Agosto 2019
Mensajes
1.374
Hola, es una pregunta mas que todo por que me interesa aprender, y no he sabido como investigarlo en google o aparecen cosas muy técnicas.
Entiendo que existe el ancho de banda de cada servidor, pero siempre me he preguntado ¿ existe el ancho de banda del hdd o de la unidad ssd ? por ejemplo si muchas personas piden videos a youtube y por esas cosas de la vida piden videos alojados coincidentemente en la misma memoria sea esta ssd o hdd ¿ puede volverse lento el servidor? y servidores como los de Youtube (pongo ese por creo que es lejos el que mas trafico "pesado" tiene con todos los videos en 4k y eso) ya que casi nunca he notado una demora en esos servidores a menos que sea culpa de mi internet o tal vez muy rara vez. También me pregunto cuando ¿ empezó youtube, existían los discos de estado solido? , como curiosidad yo vine a saber de ellos como 2004 para el usuario común y corriente y otra duda ¿ cuando no existían como funcionaba eso ? Tengo entendido que antes se usaba un sistema SCSI para los hdd de los servidores, pero no se como funcionan.

saludos y espero salir de la duda
 
Solution
Miguelwill
esta duda se puede responder desde varias aristas

los discos SCSI usualmente usados en servidores hasta la aparición del estándar SAS , funcionaban usando tarjetas dedicadas
estar tarjetas permitían configurar un "arreglo de discos" llamado Raid (redundant array disk )

esto permitirá juntar varios discos y hacerlos funcionar como uno solo, tanto para ganar rendimiento como para agregar redundancia, ya que la falla de un disco no puede comprometer los datos de un servidor

a diferencia de los discos PATA (ATA paralelo, envía datos byte a byte ), el estándar SCSI funcionaba de forma serial (que envía bit a bit), y este método después fue adoptado por e) estándar SATA


estos discos (todos mecánicos) tenían un ancho de banda y...
Sort by date Sort by votes
Miguelwill

Miguelwill

I am online
Miembro del Equipo
MOD
Se incorporó
23 Febrero 2004
Mensajes
12.403
esta duda se puede responder desde varias aristas

los discos SCSI usualmente usados en servidores hasta la aparición del estándar SAS , funcionaban usando tarjetas dedicadas
estar tarjetas permitían configurar un "arreglo de discos" llamado Raid (redundant array disk )

esto permitirá juntar varios discos y hacerlos funcionar como uno solo, tanto para ganar rendimiento como para agregar redundancia, ya que la falla de un disco no puede comprometer los datos de un servidor

a diferencia de los discos PATA (ATA paralelo, envía datos byte a byte ), el estándar SCSI funcionaba de forma serial (que envía bit a bit), y este método después fue adoptado por e) estándar SATA


estos discos (todos mecánicos) tenían un ancho de banda y velocidad de rotación mayores que los hdd que llegaban a los PCs, lo que en conjunto con varios discos (4, 8, etc) pueden ofrecer un rendimiento mucho mayor, cercano a varios Gbps
los discos SCSI eran de 3,5" e incluso habían disco# de 5", pero esos eran muy antiguos

cuando llegó el estándar SATA (serial ATA) también apareció en el lado de los servidores el estándar SAS , usando conector similar, pero agregando capacidades mayores :
rpm más altas, hasta 15000 rpm
caché más alta, lo que maneja más datos antes de enviar a los platos
cola de acceso a disco simultáneo más alta, lo que en general ofrece un rendimiento varias veces mayor para el mismo tamaño
estos discos también comenzaron a ser producidos en tamaños de 3,5" y 2,5"
y actualmente ya hay discos SSD con interface SAS, que permiten a la controladora Raid aprovechar mucho mejor el ancho de banda de los discos SSD junto con las capacidades extendidas de los SAS

actualmente un storage comercial puede tener de 8 hasta 24 o 32 discos de capacidad
y los métodos de administración pueden ser variados, usando una controladora Raid , o una controladora HBA vía fibra óptica

saludos
 
Upvote 0
Solution
3dfx0headhunter

3dfx0headhunter

Fanático
Se incorporó
17 Agosto 2019
Mensajes
1.374
Miguelwill dijo:
esta duda se puede responder desde varias aristas

los discos SCSI usualmente usados en servidores hasta la aparición del estándar SAS , funcionaban usando tarjetas dedicadas
estar tarjetas permitían configurar un "arreglo de discos" llamado Raid (redundant array disk )

esto permitirá juntar varios discos y hacerlos funcionar como uno solo, tanto para ganar rendimiento como para agregar redundancia, ya que la falla de un disco no puede comprometer los datos de un servidor

a diferencia de los discos PATA (ATA paralelo, envía datos byte a byte ), el estándar SCSI funcionaba de forma serial (que envía bit a bit), y este método después fue adoptado por e) estándar SATA


estos discos (todos mecánicos) tenían un ancho de banda y velocidad de rotación mayores que los hdd que llegaban a los PCs, lo que en conjunto con varios discos (4, 8, etc) pueden ofrecer un rendimiento mucho mayor, cercano a varios Gbps
los discos SCSI eran de 3,5" e incluso habían disco# de 5", pero esos eran muy antiguos

cuando llegó el estándar SATA (serial ATA) también apareció en el lado de los servidores el estándar SAS , usando conector similar, pero agregando capacidades mayores :
rpm más altas, hasta 15000 rpm
caché más alta, lo que maneja más datos antes de enviar a los platos
cola de acceso a disco simultáneo más alta, lo que en general ofrece un rendimiento varias veces mayor para el mismo tamaño
estos discos también comenzaron a ser producidos en tamaños de 3,5" y 2,5"
y actualmente ya hay discos SSD con interface SAS, que permiten a la controladora Raid aprovechar mucho mejor el ancho de banda de los discos SSD junto con las capacidades extendidas de los SAS

actualmente un storage comercial puede tener de 8 hasta 24 o 32 discos de capacidad
y los métodos de administración pueden ser variados, usando una controladora Raid , o una controladora HBA vía fibra óptica

saludos
Haz clic para expandir...
Gracias, tremenda explicación. Una duda y supongo que los datos se replican en varios almacenamientos en forma de cache por si fallara uno o por si se acabase el ancho de banda ¿ es asi ?
 
Upvote 0
Lordnet

Lordnet

Autoridad Ancestral de Transacciones
Se incorporó
11 Junio 2004
Mensajes
2.231
los servidores corporativos usaban discos SCSI, que costaban mucho mas dinero, pero eran mas ràpido y con menor tolerancia a fallos.
dependiendo del tipo del servicio se montaba la infraestructura.

aqui por ejemplo puede ver como evolucionó la interfaz del disco y la velocidad máxima que podían obtener dichas interfases, ahi indica la fecha de su creaciòn tambien.

List of interface bit rates - Wikipedia

en.wikipedia.org en.wikipedia.org

ahora, respecto a youtube.
obviamente en 2005 la infraestructura era mucho mas bàsica
pero pongamos un ejercicio sencillo.
- grabaste un video con tu celular, lo dejas en el disco duro del computador de la casa, compartido.
- invitas a toda tu familia a que lo abra con sus notebook o celulares al mismo tiempo, tanto familiares que estan en tu wifi, familiares en otra región.

a medida que los familiares empiecen a abrir el video, el disco duro empezará a leer y enviar cada copia solicitada. la experiencia empieza a fallar a medida que la velocidad del disco duro no sea suficiente para la demanda. en ese caso se puede dejar una copia del mismo video en un segundo disco duro para que la gente acceda, o replicar en un segundo computador.



youtube tiene un principio similar
los videos son copiados en los discos duros de cientos de datacenters alrededor del mundo. y se replican segun la demanda.
ej: los video clip de Lucho Jara puede que solo esten en una porciòn reducida de datacenters donde acceden los chilenos. pero "Gangnam style" o de grupos como BTS están en todo el mundo.

la replicacion cumple dos fines, uno es la disponibilidad (y escalabilidad) , dos, es la tolerancia a fallos, por ejemplo si un sitio se cae.

aqui hay algo mas de info en ingés
www.scaleyourapp.com

YouTube database – How does it store so many videos without running out of storage space? - Scaleyourapp

This write-up is an insight into the databases used at YouTube and the backend data infrastructure that enables the video platform to store such an insane amount of data, as well as scale with billions of users.
www.scaleyourapp.com www.scaleyourapp.com
 
Upvote 0
3dfx0headhunter

3dfx0headhunter

Fanático
Se incorporó
17 Agosto 2019
Mensajes
1.374
Lordnet dijo:
los servidores corporativos usaban discos SCSI, que costaban mucho mas dinero, pero eran mas ràpido y con menor tolerancia a fallos.
dependiendo del tipo del servicio se montaba la infraestructura.

aqui por ejemplo puede ver como evolucionó la interfaz del disco y la velocidad máxima que podían obtener dichas interfases, ahi indica la fecha de su creaciòn tambien.

List of interface bit rates - Wikipedia

en.wikipedia.org en.wikipedia.org

ahora, respecto a youtube.
obviamente en 2005 la infraestructura era mucho mas bàsica
pero pongamos un ejercicio sencillo.
- grabaste un video con tu celular, lo dejas en el disco duro del computador de la casa, compartido.
- invitas a toda tu familia a que lo abra con sus notebook o celulares al mismo tiempo, tanto familiares que estan en tu wifi, familiares en otra región.

a medida que los familiares empiecen a abrir el video, el disco duro empezará a leer y enviar cada copia solicitada. la experiencia empieza a fallar a medida que la velocidad del disco duro no sea suficiente para la demanda. en ese caso se puede dejar una copia del mismo video en un segundo disco duro para que la gente acceda, o replicar en un segundo computador.



youtube tiene un principio similar
los videos son copiados en los discos duros de cientos de datacenters alrededor del mundo. y se replican segun la demanda.
ej: los video clip de Lucho Jara puede que solo esten en una porciòn reducida de datacenters donde acceden los chilenos. pero "Gangnam style" o de grupos como BTS están en todo el mundo.

la replicacion cumple dos fines, uno es la disponibilidad (y escalabilidad) , dos, es la tolerancia a fallos, por ejemplo si un sitio se cae.

aqui hay algo mas de info en ingés
www.scaleyourapp.com

YouTube database – How does it store so many videos without running out of storage space? - Scaleyourapp

This write-up is an insight into the databases used at YouTube and the backend data infrastructure that enables the video platform to store such an insane amount of data, as well as scale with billions of users.
www.scaleyourapp.com www.scaleyourapp.com
Haz clic para expandir...
Ahora que recuerdo, una vez encontré un video de un juego en portugues y ese video no cargaba, pero me metía a cualquier video de youtube y a 4k perfectos, pero ese video ni a 480p, seguramente era un video medio rebuscado que no estaba tan disponible.

Les agradezco a los 2, me gusta saber, aun que sea de manera básica, como funcionan las cosas
 
Upvote 0
Miguelwill

Miguelwill

I am online
Miembro del Equipo
MOD
Se incorporó
23 Febrero 2004
Mensajes
12.403
3dfx0headhunter dijo:
Ahora que recuerdo, una vez encontré un video de un juego en portugues y ese video no cargaba, pero me metía a cualquier video de youtube y a 4k perfectos, pero ese video ni a 480p, seguramente era un video medio rebuscado que no estaba tan disponible.

Les agradezco a los 2, me gusta saber, aun que sea de manera básica, como funcionan las cosas
Haz clic para expandir...
claro, aca nadie nacio sabiendo, todos aprenden segun lo que les toca revisar y manipular, y otros aprendemos entre teoria y cosas heredadas que nos dice algun profesor o instructor

como consultas sobre los discos y su replicación, esto lleva a lo que mencionaba del sistema RAID más arriba, ya que estos permiten tener (via hardware o software) varios niveles de redundancia, y a modo de resumen te puedo mencionar los mas usuales en servidores individuales:

Raid0 = 0 redundancia , ya que el tamaño de ambos HDD se suma y crea un volumen con el total de tamaño, el problema es que los datos se graban de forma intercalada, por lo que si falla uno de los dispositivos, se pierde toda la data

Raid1 = redundancia de 1 espejo, todo lo que se escriba en el HD1 se copia exactamente igual al HD2, y si falla alguno, el otro tiene los datos disponibles (para recuperar o re-sincronizar con un disco de repuesto )

Raid5 = permite usar sumar el tamaño de varios discos y tener 1 disco para redundancia (como 4 + 1 por ejemplo), el problema es que a medida que se llena, el algoritmo de distribución de escrituras se vuelve mas lento y el proceso de escritura se vuelve mas demandante y todo se va ralentizando

Raid10 = una mezcla del raid1 y 0 (en otros lados sale como "raid 1+0" ), donde se usan pares para armar espejos, y después se juntan los espejos en un stripe/raid0 que sume todos los tamaños

el resto de niveles y explicaciones puedes encontrarlos aca:
es.wikipedia.org

RAID - Wikipedia, la enciclopedia libre

es.wikipedia.org es.wikipedia.org
 
Upvote 0
like_no_other

like_no_other

Perpetual Apprentice
Se incorporó
6 Abril 2006
Mensajes
217
3dfx0headhunter dijo:
Gracias, tremenda explicación. Una duda y supongo que los datos se replican en varios almacenamientos en forma de cache por si fallara uno o por si se acabase el ancho de banda ¿ es asi ?
Haz clic para expandir...
Hay varios tipos de Raid. El más eficiente es el raid5. Los datos se distribuyen entre todos los discos que lo componen al igual que la paridad, que es la data a partir de la cual se reconstruye el contenido de un disco cuando llega a fallar. La memoria caché cumple la función de acelerar el proceso de lectura y/o escritura, pues es más rápido leer o escribir desde memora que a cesando a los discos, en especial los electromecánicos.

Enviado desde mi SM-A525M mediante Tapatalk
 
Upvote 0
Miguelwill

Miguelwill

I am online
Miembro del Equipo
MOD
Se incorporó
23 Febrero 2004
Mensajes
12.403
like_no_other dijo:
Hay varios tipos de Raid. El más eficiente es el raid5. Los datos se distribuyen entre todos los discos que lo componen al igual que la paridad, que es la data a partir de la cual se reconstruye el contenido de un disco cuando llega a fallar. La memoria caché cumple la función de acelerar el proceso de lectura y/o escritura, pues es más rápido leer o escribir desde memora que a cesando a los discos, en especial los electromecánicos.

Enviado desde mi SM-A525M mediante Tapatalk
Haz clic para expandir...
si hay pares de discos (4 o más ) mejor sería usar raid10, ya que es más rápido y tiene mejor tolerancia a fallos , ya que es la suma de 2 raid1

el problema del Raid5 es que en cada escritura debe seguir un algoritmo para almacenar datos entre los miembros del array , y además escribir el dato de paridad en el disco siguiente, y la paridad cae entre todos los discos
esto trae problemas cuando tiene mucha utilización , ya que si falla 1 disco, y este es reemplazado, se debe reconstruir leyendo los datos desde Todos los demás discos disponibles, lo que implica muchas tareas de lectura y escritura en todo el arreglo, algo fatal para un almacenamiento que tenga uso por parte de muchos usuarios (o que tenga uso intensivo de varias máquinas virtuales por ejemplo)
y por eso, ya no se recomienda usar Raid5
 
Upvote 0
like_no_other

like_no_other

Perpetual Apprentice
Se incorporó
6 Abril 2006
Mensajes
217
Miguelwill dijo:
si hay pares de discos (4 o más ) mejor sería usar raid10, ya que es más rápido y tiene mejor tolerancia a fallos , ya que es la suma de 2 raid1

el problema del Raid5 es que en cada escritura debe seguir un algoritmo para almacenar datos entre los miembros del array , y además escribir el dato de paridad en el disco siguiente, y la paridad cae entre todos los discos
esto trae problemas cuando tiene mucha utilización , ya que si falla 1 disco, y este es reemplazado, se debe reconstruir leyendo los datos desde Todos los demás discos disponibles, lo que implica muchas tareas de lectura y escritura en todo el arreglo, algo fatal para un almacenamiento que tenga uso por parte de muchos usuarios (o que tenga uso intensivo de varias máquinas virtuales por ejemplo)
y por eso, ya no se recomienda usar Raid5
Haz clic para expandir...
Se sigue usando para discos SSD y SAS. Para discos NL-SAS, la recomendación es Raid6 (double parity)

Enviado desde mi SM-A525M mediante Tapatalk
 
Upvote 0
Lordnet

Lordnet

Autoridad Ancestral de Transacciones
Se incorporó
11 Junio 2004
Mensajes
2.231
3dfx0headhunter dijo:
Ahora que recuerdo, una vez encontré un video de un juego en portugues y ese video no cargaba, pero me metía a cualquier video de youtube y a 4k perfectos, pero ese video ni a 480p, seguramente era un video medio rebuscado que no estaba tan disponible.

Les agradezco a los 2, me gusta saber, aun que sea de manera básica, como funcionan las cosas
Haz clic para expandir...
recordar que otro actor no relacionado con youtube es el proveedor de internet
y el también hace de su parte para que la experiencia sea satisfactoria. ya sea, colocando enlaces directos con google. o grabando en caché algunos de los videos más populares.
 
Upvote 0
Miguelwill

Miguelwill

I am online
Miembro del Equipo
MOD
Se incorporó
23 Febrero 2004
Mensajes
12.403
Upvote 0
You must log in or register to reply here.
Subir