Dimensionar equipo o nube para IA

Zuljin · Lunes a las 11:29

No sé si en sus pegas les habrá pasado algo parecido...

Acá en la pega quieren comenzar a incursionar en soluciones de IA y ciencia de datos para catalogar documentos, la mansa cachá de documentos. Una empresa de proyectos está evaluando el requerimiento, pero básicamente consiste en que una caja negra lea los documentos en distintos formatos (word, pdf con origen digital, pdf con origen escaneado, imágenes de texto escaneado), y haga una catalogación de los mismos según temas clave.

La cosa es que el proveedor dijo "compadre, ¿usted va a poner fierro o se lo va a llevar a la nube?" y puta, el jefe de proyecto (que es un socio que no se maneja en hardware) se da vuelta y me dice: "oye Zuljin, ¿que nos conviene?" y yo onda

La cosa es que yo me había adelantado a la jugada y había cotizado con un partner dos pares de servidores Xeon con GPU: un par de servidores con una GPU nVidia L40S y otro par de servidores con dos nVidia L40S. Como se imaginarán, el servidor que tiene configuración de dos GPUs vale el doble.

Pongámosle números:
2 servidores con single nVidia L40S: US$48.000.-
2 servidores con doble nVidia L40S: US$98.000.-

Los servidores tienen soporte para 5 años, así que si prorrateamos tendríamos esto
2 servidores con single nVidia L40S: US$9.600.- al año
2 servidores con doble nVidia L40S: US$19.600.- al año

Como ven, no existe un producto terminado sino que el proveedor tiene un potencial producto (digámosle vaporware) por lo que no se pueda echar a andar para hacer prueba de estrés y mesurar consumo. Y acá viene la pregunta:

¿Alguno de ustedes ha trabajado o está trabajando en sistemas de ciencia de datos o IA para que pueda tirar un dato de uso de fierro o nube?
¿Qué nube recomiendan? Yo estuve cotizando y encontré que la cloud de Oracle es barata.

Yo he ido a presentaciones y charla y puta, todos hablan del potencial de la IA, ciencia de datos y toda la huea pero nadie te dice cuánto fierro on-premise o consumo en cloud vas a gastar.

Gigioster · Lunes a las 11:36

Zuljin dijo:
No sé si en sus pegas les habrá pasado algo parecido...

Acá en la pega quieren comenzar a incursionar en soluciones de IA y ciencia de datos para catalogar documentos, la mansa cachá de documentos. Una empresa de proyectos está evaluando el requerimiento, pero básicamente consiste en que una caja negra lea los documentos en distintos formatos (word, pdf con origen digital, pdf con origen escaneado, imágenes de texto escaneado), y haga una catalogación de los mismos según temas clave.

La cosa es que el proveedor dijo "compadre, ¿usted va a poner fierro o se lo va a llevar a la nube?" y puta, el jefe de proyecto (que es un socio que no se maneja en hardware) se da vuelta y me dice: "oye Zuljin, ¿que nos conviene?" y yo onda

La cosa es que yo me había adelantado a la jugada y había cotizado con un partner dos pares de servidores Xeon con GPU: un par de servidores con una GPU nVidia L40S y otro par de servidores con dos nVidia L40S. Como se imaginarán, el servidor que tiene configuración de dos GPUs vale el doble.

Pongámosle números:
2 servidores con single nVidia L40S: US$48.000.-
2 servidores con doble nVidia L40S: US$98.000.-

Los servidores tienen soporte para 5 años, así que si prorrateamos tendríamos esto
2 servidores con single nVidia L40S: US$9.600.- al año
2 servidores con doble nVidia L40S: US$19.600.- al año

Como ven, no existe un producto terminado sino que el proveedor tiene un potencial producto (digámosle vaporware) por lo que no se pueda echar a andar para hacer prueba de estrés y mesurar consumo. Y acá viene la pregunta:

¿Alguno de ustedes ha trabajado o está trabajando en sistemas de ciencia de datos o IA para que pueda tirar un dato de uso de fierro o nube?
¿Qué nube recomiendan? Yo estuve cotizando y encontré que la cloud de Oracle es barata.

Yo he ido a presentaciones y charla y puta, todos hablan del potencial de la IA, ciencia de datos y toda la huea pero nadie te dice cuánto fierro on-premise o consumo en cloud vas a gastar.

hasta el momento no he escuchado de empresas que manejen hardware para IA como clientes finales, on-premise, todo es nube. Oracle, MS, Amazon, Google. Pero de ahi se me escapa.

cliobrando · Lunes a las 11:57

Yo actualmente trabajo en la implementacion de plataformas de explotacion de modelos de IA.
Si tienes acceso al modelo y a la especificacion de parametros te recomiendo usar algo como esto:

VRAM Calculator for AI Models

Estimate GPU memory requirements for your AI and machine learning models with our free VRAM calculator. Optimize your hardware resources today!

howmuchvram.com

Con eso puedes haceer una evaluacion mas precisa de lo que necesitas.

EDIT: Dependiendo de lo que necesites, a veces nisiquiera es necesaria una GPU. He probado algunos modelos de procesamiento de audio/texto que con cpu funcionan practicamente igual que con una GPU.

Harima · Lunes a las 12:48

Depende del modelo o herramientas que uses que tan necesaria es la GPU, averigua que software quieren usar primero.

Arranca de Oracle Cloud, nosotros no pasamos del laboratorio, puta que son como la callampa.

unreal4u · Lunes a las 12:55

pta, depende de lo que necesites jajajaj

Tal como dijo @cliobrando revisa qué tanta VRAM necesitarás... pero te digo al tiro que de aquí a 2 años más lo más probable es que los specs que necesitabas originalmente sean totalmente distintos: todavía el mundo de la AI se está moviendo demasiado rápido y los modelos nuevos que van saliendo tienen requerimientos distintos así que es difícil poder decirte exactamente cuáles necesitas, especialmente pq nadie tiene una bolita de cristal.

Por lo demás, hablas de armar algo así como un compendio de toda tu documentación: que es leer imágenes, documentos, etc. todo en uno: son varias ramas y modelos distintos y aunque puedes ocupar una tarjeta de video para hacerle análisis a una imagen, si quieres comparar objetos es mejor inversión una TPU en vez de GPU: valen €25 y con eso puedes analizar a 100FPS consumiendo 1W, aunque claro, los modelos que puedes lanzar en ella no pueden superar los 6MB de VRAM.

En cuanto a elección de hardware, el L40S es una muy buena opción: tienes el H100 que vale el doble (y casi imposible de conseguir a menos que tengas una empresa de AI), el A2000 que es la mitad de power que la L40S y varios otros más, pero creo que el L40S es el que tiene la mayor cantidad de VRAM por dolar, así que mala opción no es.

Saludos.

cliobrando · Lunes a las 13:14

El tema es el el modelo, o los modelos que van a utilizar: si es algo custom que armó una empresa (o un producto) proablemente puedas preguntar los requerimientos de VRAM/GPU/CPU.

Si es algo que tienes que armar, es distinto. En el tema de TPU (como coral o las de intel) no invertiria mucho tiempo, los framework o servidores de inferencia son un hit or miss con ese tipo de hw, yo las veria cuando tienes un producto desarrollado y quieres bajar costos: Ej: un NVR con un modelo de procesamiento de imagenes.

Con las CPU de gen modernas de intel puedes cargar el modelo usando OpenVino y obtener un rendimiento decente para ciertas tareas.
O si vas a utilizar un modelo de billones de parametros puedes cuantizarlo para que use menos memoria u optimizar los parametros.

Todo depende lo que quieras hacer.

Zuljin · Lunes a las 13:39

Como les contaba es bien vaporware la huea. O sea, hay un deseo y una conversa con un potencial proveedor y una pedida de disponerle fierro para trabajar, pero no hay un requerimiento formal de ellos en decir exactamente que necesitan.

Creo que la respuesta del vikingo me sirve con respecto al tipo de GPU ON-Premise y el aporte de @Harima me preocupa porque yo estaba mirando Oracle Cloud como buena alternativa para "arrendar GPU" mientras dura el desarrollo.

Dimensionar equipo o nube para IA

Zuljin

Fundador

Gigioster

Roar Roar...ROOOOAAARR!!

cliobrando

Capo

VRAM Calculator for AI Models

Harima

Pegao al tarro

unreal4u

I solve problems.

cliobrando

Capo

Zuljin

Fundador