¿Qué puedo hacer con 1TB de RAM?

Mejor respuesta

Lo primero que debe saber es que las computadoras con tanta RAM son más lentas de lo que cree. La gestión de muchos bancos de RAM requiere tecnología que ralentiza el acceso a la RAM (NUMA, ECC, abordar el otro lado del dispositivo requiere una acción de parada …). Piense en ellos como un camión grande, mientras que su computadora portátil es un automóvil (tal vez un F1). Si necesita comprar alimentos, el automóvil será su elección.

Lo segundo es que esas computadoras son muy caras. No solo por las memorias RAM, sino que todo tiene que escalar. La placa base del servidor, muchas CPU XEON, enormes ram sticks … todo este hardware llamado «profesional» venía con el «impuesto al servidor» el doble del precio por cada aumento de rendimiento del 10\%. Puede obtener mucha más potencia de la computadora comprando varios hardware básico de tamaño razonable.

Además, la mayoría de las veces una computadora debe estar equilibrada. Si tiene tanta RAM, necesita muchos núcleos para trabajar con ella y una matriz de SSD realmente rápida para cargar y guardar datos. Algunos usos no están equilibrados y requieren más de un recurso.

Para un usuario doméstico habitual, no hay uso de tanto ram.

Entonces, ¿cuál es el uso de tales bestias? Son útiles cuando necesita trabajar con muchos datos a la vez. Incluso si su RAM es más lenta que la RAM de una computadora normal, sigue siendo veces más rápida que la SSD más rápida.

Los usos comunes incluyen:

  • Base de datos relacional de gran memoria
  • gran almacén de valores-clave (sin sql)
  • base de datos de grandes gráficos
  • algunos trabajos científicos: estudio de adn, simulación
  • enorme configuración de PLM servidores en la industria automotriz y del espacio aéreo
  • ejecutando VM (este es un uso estúpido, pero uno de los más comunes)

Incluso en el mundo profesional, buenos equipos de TI tienden a distribuir las tareas en más computadoras usando algoritmos como reducción de mapas, granjas de renderizado para renderizado 3D… Si es posible, es mucho más eficiente, más flexible y más fácil de manejar fallas. Puede apagar las computadoras o agregar algunas más para escalar con la carga.

Además, el sistema de administración compra la mayoría de estas computadoras por una de estas estúpidas razones:

  • No quieren asumir ninguna responsabilidad, por lo que compran la computadora más grande disponible y si el software falla, pueden decir que no es su culpa porque hicieron lo máximo.
  • Son geek y quieren más grande juguetes que sus amigos. Si tu trabajo te paga por el auto que quieras, ¿obtendrías un Prius o un Bugatti?
  • El proceso de compra es muy lento en su empresa e implica muchas acciones que cuestan incluso más en recursos humanos que en hardware. sí mismo. En el momento en que obtienen el servidor, se convirtió en hardware de comorbilidad (un poco exagerado).
  • Si su jefe sabe que la TI funciona con $ 500 de las computadoras de los estantes, lo ve como un plomero, es más difícil justifique su salario que si administrara una infraestructura por valor de millones y pareciera un gerente de planta nuclear.

Sí, todos estos son estúpidos pero muy comunes. Mi trabajo diario es rediseñar las infraestructuras y optimizar los costos.

Una pequeña historia para terminar: después de 3 años de servicio, apareció un problema en un servicio de mensajería (Kafka). Algunos mensajes se almacenaron varias veces y hace que el siguiente software en cadena falle (debería haberlo manejado). Después de investigar, encontré en la documentación que era un comportamiento normal del sistema de mensajería bajo carga. Garantiza que los mensajes lleguen al menos una vez, pero podría haber mensajes dobles. Dije «el sistema está sobrecargado», el equipo de TI se rió de mí «ni siquiera estamos alcanzando el 10\% en nuestros 3 nodos x 48 núcleos, clúster de RAM de 1TB, eres estúpido» … Seguí en mi posición y pedí acceso en el servicio para encontrar el problema. Conociendo mis acciones anteriores y temiendo que exponga un error, volvieron a revisar todo. Parecía que en el archivo de configuración de 10 líneas de Kafka estaba escrito «number\_of\_thread = 4». Sí, ejecutaron un servicio en un clúster de $ 150k y usan solo 4 núcleos en cada nodo, por eso nunca supera el 10\% de uso de CPU. Ninguna de las 20 personas involucradas vio eso. Funcionó así durante 3 años, incluso una computadora portátil de $ 1000 habría hecho el trabajo. Hacen el mismo tipo de cosas en todas las aplicaciones que vi en esta empresa. Sin embargo, tienen más de 150.000 empleados y están ejecutando 3 enormes centros de datos. Muchas empresas están haciendo lo mismo, puedo contarte toneladas de historias como esta …

Responder

Si tu computadora tuviera 1 TB de RAM, ¿qué harías con él?

Gracias por A2A. Honestamente … véndalo.

En serio, el dinero que obtendría de 1TB de RAM vale más que la pérdida de tener tanta memoria volátil.

Aquí está la cosa. Si algo sale mal con su computadora, no hay forma de que pueda volcar 1 TB de RAM en un almacenamiento permanente en el tiempo que tarda un sistema en colapsar.

La RAM es una especie de tecnología “Ricitos de oro”.Todo lo que sea tan grande que requiera tanta RAM nunca podrá guardarse a tiempo. Incluso las tecnologías de memoria persistente (PM) ultrarrápidas, como Z-NAND o 3DXPoint, simplemente no pueden mantenerse al día con la enorme avalancha de datos requerida.

[Editar – casi un año después]

Bien, entonces esta respuesta ha recibido algunos comentarios y parece que necesita una aclaración adicional. Voy a improvisar algunas de mis respuestas a los comentarios para que esto sea más fluido.

Las computadoras están diseñadas para guardar datos, no los pierda. La RAM es volátil y, por lo tanto, coloca esos datos en un gran riesgo.

Algunos datos son datos «auxiliares». Digamos, por ejemplo, procesos que se ejecutan en su sistema que tienen una vida útil muy corta (como los procesos que actualizan los metadatos en su sistema de archivos). Viven en RAM porque su utilidad es extremadamente corta. Tampoco requieren un lote de RAM.

Otro ejemplo de datos «auxiliares» es el tipo de datos que se utilizan para representar audio y video de alta calidad, hacer trabajos de fotografía, cargar mapas y texturas en videojuegos, etc. Esos datos usan mucha RAM (no tanto como 1 TB, pero aún así es más que el documento promedio de Microsoft Word), pero perder esos datos no es tan arriesgado.

(Alguna vez juegas a un videojuego y ves el aviso para no apagar tu máquina cuando ¿Ves el símbolo de «guardar juego»? Sí, ahí es cuando tu máquina está escribiendo tus datos desde la RAM al disco. Escribir datos desde la RAM al disco es también una de las partes más riesgosas de mover datos. Así es como los archivos guardados se corrompen con mayor frecuencia .)

Tener 1 TB de RAM, por el costo involucrado cuando escribí esta respuesta, es útil solo para unas pocas cargas de trabajo muy selectas. En términos generales, esas cargas de trabajo son tareas serias de procesamiento de números que de otro modo requerirían grandes cantidades de E / S.

Las cargas de trabajo computacionales en memoria hacen requieren grandes cantidades de RAM. En realidad, 1 TB no es suficiente. Contienen bases de datos completas en RAM para realizar cálculos muy rápidos. Sin embargo, este tipo de datos no son datos «auxiliares», ni tampoco datos que se puedan reconstruir o recargar fácilmente (como lo haría simplemente renderizando su proyecto de video).

La mayoría de personas, incluido yo mismo, no ejecutan bases de datos en memoria ni necesitan mantener conjuntos de datos completos en memoria para procesarlos.

Entonces, si tiene una aplicación que ahorra datos a menudo (transferencia de E / S al disco), entonces no necesita un tamaño de RAM grande. Digamos, Microsoft Word en este ejemplo guardará sus datos en el disco de forma regular para que el margen de error sea pequeño (si la RAM falla entre los guardados, la cantidad de datos / trabajo que se realizó desde la última transferencia de E / S se pierde y se mantiene al mínimo). Eso no cambiará cuanto más RAM tenga.

La mayoría de las aplicaciones y cargas de trabajo no le dicen al sistema operativo: «Dame toda la RAM que tienes». Entonces, lo que tiene es una gran cantidad de aplicaciones que crean cargas de trabajo con 1TB de RAM. Claro, es rápido y sería bueno poder hacerlo, pero ¿vale la pena ese costo? ¿A mi? No.

La mayoría de los datos con los que trabaja el consumidor medio no requieren una capacidad tan grande para almacenarse en una memoria volátil.

Ahora, con 1 TB de RAM, algunas personas han Discos RAM sugeridos. Desafortunadamente, ese es precisamente el caso de uso al que me refiero de que 1TB de RAM es menos adecuado en términos prácticos.

En caso de que no esté familiarizado con lo que es un disco RAM, es un caso de uso especial en el que el sistema operativo trata una cantidad específica de memoria como un disco duro muy, muy rápido disco. El problema es que todo que está almacenado en ese disco RAM es, lo adivinó, volátil. El uso de un disco RAM como espacio de trabajo principal para su computadora suele ser demasiado tentador para muchas personas, y se sorprenden al descubrir que una gran cantidad de datos que consideraban seguros y seguro nunca lo fue.

Cualquiera que utilice discos RAM para el almacenamiento de datos de misión crítica está buscando problemas. Cada vez que realiza algún trabajo en un disco RAM y “guarda” el archivo, no se guarda permanentemente . Aún tiene que volver a escribir todos esos datos en un dispositivo de almacenamiento permanente principal. Suponiendo 1 TB de datos, eso es mucho más de lo que la gente cree.

(Nota: Los discos RAM se pueden automatizar para guardar en un dispositivo de almacenamiento permanente, al igual que lo hace su documento de Microsoft Word, pero 1 TB aún requiere mucho , mucho tiempo para pasar al disco en caso de emergencia.)

Las máquinas virtuales son útiles para una mención especial, aquí, y estoy agradecido con Thomas Zoltan por mencionarlo. Las máquinas virtuales funcionan muy, muy bien con una gran cantidad de RAM, y el sistema operativo host debe poder suministrarla, especialmente si planea alojar varias máquinas virtuales en la misma máquina.

(NB: Originalmente entendí mal el punto inicial de Thomas, era que las VM usarían la RAM, no se almacenarían en un disco RAM . Estaba discutiendo ambos casos de uso y yo había combinado los dos. Sin embargo, creo que ahora entiendo lo que estaba tratando de decir.)

Por supuesto, utilizo este tipo de VM en mi laboratorio de pruebas el tiempo. Mis máquinas de prueba tienen 128 GB de RAM para poder manejar la rápida activación y desactivación de las máquinas virtuales, y TBH definitivamente podrían usar un poco más de espacio para respirar, especialmente porque el software de VMware no es tan delgado y mezquino como solía hacerlo. ser.

La mayoría de personas, aunque (incluido yo mismo), no usan entornos VSAN o vSphere en su hogar. Lo tengo en mi laboratorio , pero no hay nada en esas máquinas que pueda considerarse de misión crítica ni remotamente.

Y, en última instancia, yo Creo que ahí es donde radica el error en algunos de los comentarios a esta respuesta. De alguna manera, la gente pensó que yo estaba diciendo que no había un caso de uso para tanta memoria en absoluto . Encuentro esto desconcertante, porque lo que dije fue:

[E] l dinero que obtendría de 1TB de RAM vale más que la pérdida de tener tanta memoria volátil.

Y esto es cierto. ¡Tener 1TB de RAM verdadera y accesible ( ninguna de mis computadoras puede usar tanta RAM! Por ejemplo, no tienen la capacidad de usar es una propuesta muy cara, y el dinero que obtendría por ella vale más que tenerla ahora mismo .

¿En 4 o 5 años? Bueno, quien sabe. Probablemente miremos hacia atrás en esta respuesta (como hacemos con todas las respuestas relacionadas con la computadora que se ocupan de velocidades y feeds) y pensaremos, «¡Qué curioso! ¿Recuerda cuando 1TB era inasequible ? » 🙂

Por cierto …

La razón por la que el concepto entró en la discusión es que tenía un cliente que hacía una gran cantidad de procesamiento en memoria (1 TB, de hecho) , que necesitaba poder colocar todos los cálculos almacenados en el disco en 8 segundos. El problema era (y sigue siendo) que mientras la carga de trabajo calculaba los resultados a un ritmo fenomenal, no había forma de guardar los datos en un almacenamiento permanente en el momento en que el sistema se apagaba debido a una emergencia (alarma de incendio, conmutación por error, advertencias de umbral del sistema, etc.).

Entonces, la pregunta es, ¿cuánta RAM «vale la pena»? ¿Cuál es el valor de un poco más rápido por $ / £ / E? Bueno, eso lo decide cada persona. Para mí, esa línea de valor aún no se ha cruzado.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *