Was kann ich mit 1 TB RAM tun?

Beste Antwort

Das erste, was Sie wissen müssen, ist, dass Computer mit so viel RAM langsamer sind als Sie denken. Um zu verwalten, dass viele RAM-Banken eine Technologie benötigen, die den RAM-Zugriff verlangsamt (NUMA, ECC, Adressierung der anderen Seite des Sticks erfordern eine Stopp-Aktion…). Stellen Sie sich diese als großen LKW vor, während Ihr Laptop ein Auto ist (vielleicht ein F1). Wenn Sie Lebensmittel kaufen müssen, ist das Auto Ihre Wahl.

Zweitens sind diese Computer sehr teuer. Nicht nur wegen RAM-Sticks, sondern alles muss skaliert werden. Server-Motherboard, viele XEON-CPUs, riesige RAM-Sticks … all diese so genannte „professionelle“ Hardware war mit der doppelten „Serversteuer“ für jede Leistungssteigerung von 10\% verbunden. Sie können viel mehr Computerleistung erzielen, indem Sie mehrere Standardhardware mit angemessener Größe kaufen.

Außerdem muss ein Computer die meiste Zeit ausgeglichen sein. Wenn Sie so viel RAM haben, benötigen Sie viele Kerne, um damit zu arbeiten, und ein wirklich schnelles SSD-Array zum Laden und Speichern von Daten. Einige Verwendungen sind nicht ausgewogen und erfordern mehr als eine Ressource.

Für einen normalen Heimanwender wird nicht so viel RAM verwendet.

Wozu dienen solche Bestien? Sie sind nützlich, wenn Sie viele Daten gleichzeitig bearbeiten müssen. Selbst wenn der Arbeitsspeicher langsamer ist als der Arbeitsspeicher eines normalen Computers, ist er immer noch schneller als die schnellste SSD.

Zu den häufigsten Verwendungszwecken gehören:

  • groß in der relationalen Speicherdatenbank
  • großer Schlüsselwertspeicher (kein SQL)
  • große Grafikdatenbank
  • einige wissenschaftliche Aufgaben: DNA-Studie, Simulation
  • große PLM-Konfiguration Server in der Automobil- und Luftraumindustrie
  • mit VM (dies ist eine dumme Verwendung, aber dennoch eine der am häufigsten verwendeten)

Selbst in der Berufswelt gute IT-Teams neigen dazu, die Aufgaben auf mehr Computern zu verteilen, indem Algorithmen wie Kartenreduzierung, Renderfarmen für 3D-Rendering verwendet werden. Wenn möglich, ist dies wesentlich effizienter, flexibler und einfacher zu handhaben. Sie können Computer ausschalten oder weitere hinzufügen, um mit der Last zu skalieren.

Außerdem werden die meisten dieser Computer aus einem dieser dummen Gründe vom Administrationssystem gekauft:

  • Sie wollen keine Verantwortung übernehmen, also kaufen sie den größten verfügbaren Computer und wenn die Software ausfällt, können sie sagen, dass es nicht ihre Schuld ist, weil sie das Maximum getan haben.
  • Sie sind Geek und sie wollen größer Spielzeug als ihre Freunde. Wenn Ihre Arbeit Ihnen ein Auto bezahlt, das Sie wollen, würden Sie einen Prius oder einen Bugatti bekommen?
  • Der Kaufprozess ist in ihrem Unternehmen sehr langsam und beinhaltet viele Maßnahmen, die noch mehr Personal kosten als die Hardware selbst. Als sie den Server bekamen, wurde es zu Komorbiditätshardware (etwas übertrieben).
  • Wenn Ihr Chef weiß, dass die IT mit 500 US-Dollar aus den Regalen läuft, sehen sie Sie als Klempner an, ist es schwieriger Begründen Sie Ihr Gehalt, als wenn Sie eine Infrastruktur im Wert von Millionen verwalten und wie ein Kernkraftwerksmanager aussehen.

Ja, all dies ist dumm, aber sehr verbreitet. Es ist meine tägliche Aufgabe, Infrastrukturen neu zu gestalten und Kosten zu optimieren.

Eine kleine Geschichte zum Abschluss: Nach drei Dienstjahren trat bei einem Messaging-Dienst (Kafka) ein Problem auf. Einige Nachrichten wurden mehrmals gespeichert und die nächste Software in der Kette schlägt fehl (dies sollte erledigt sein). Nach einer Untersuchung stellte ich in der Dokumentation fest, dass es sich um ein normales Verhalten des Nachrichtensystems unter Last handelte. Es garantiert, dass Nachrichten mindestens einmal eintreffen, es können jedoch auch doppelte Nachrichten vorliegen. Ich sagte: „Das System ist überlastet.“ Das IT-Team lachte mich aus. „Wir erreichen nicht einmal 10\% auf unseren 3 Knoten x 48 Kernen, 1 TB RAM-Cluster, Sie sind dumm.“ Ich hielt an meiner Position fest und bat um Zugriff auf den Dienst, um das Problem zu finden. Da sie meine früheren Handlungen kannten und befürchteten, einen Fehler aufzudecken, überprüften sie alles erneut. Es schien, dass in der 10-Zeilen-Konfigurationsdatei von Kafka „number\_of\_thread = 4“ geschrieben war. Ja, sie haben einen Dienst auf einem 150.000-Dollar-Cluster ausgeführt und verwenden nur 4 Kerne auf jedem Knoten. Deshalb wird die CPU-Auslastung nie über 10\% liegen. Keiner der 20 Beteiligten hat das gesehen. Es hat 3 Jahre lang so funktioniert, sogar ein 1000-Dollar-Laptop hätte den Job gemacht. Sie machen die gleichen Dinge bei allen Anwendungen, die ich in dieser Firma gesehen habe. Dennoch haben sie mehr als 150.000 Mitarbeiter und betreiben 3 riesige Rechenzentren. Viele Unternehmen tun dasselbe, ich kann Ihnen unzählige solcher Geschichten erzählen …

Antwort

Wenn Ihr Computer 1 TB hätte Was würden Sie damit machen?

Vielen Dank für die A2A. Ehrlich gesagt … verkaufen Sie es.

Im Ernst, das Geld, das ich mit 1 TB RAM erhalten würde, ist mehr als den Verlust wert, so viel flüchtigen Speicher zu haben.

Hier ist die Sache. Wenn mit Ihrem Computer ein Fehler auftritt, gibt es keine Möglichkeit , 1 TB RAM in der Zeit, die ein System zum Zusammenbruch benötigt, auf einen permanenten Speicher zu übertragen.

RAM ist so etwas wie eine „Goldilocks“ -Technologie.Alles, was so groß ist, dass so viel RAM erforderlich ist, kann niemals rechtzeitig gespeichert werden. Selbst böse schnelle PM-Technologien (Persistent Memory) wie Z-NAND oder 3DXPoint können einfach nicht mit dem erforderlichen massiven Datenrausch Schritt halten.

[Bearbeiten – fast ein Jahr später]

Okay, diese Antwort hat einige Kommentare erhalten und es scheint, dass zusätzliche Klarstellungen erforderlich sind. Ich werde einige meiner Antworten auf die Kommentare zusammenschustern, um dies flüssiger zu gestalten.

Computer sind so konzipiert, dass sie speichern Daten, nicht verlieren. RAM ist flüchtig und birgt daher ein großes Risiko für diese Daten.

Einige Daten sind „Hilfsdaten“. Angenommen, Prozesse, die in Ihrem System ausgeführt werden und eine sehr kurze Haltbarkeit haben (wie die Prozesse, die die Metadaten in Ihrem Dateisystem aktualisieren). Sie leben im RAM, weil ihr Nutzen extrem kurzlebig ist. Sie benötigen auch kein Los RAM.

Ein weiteres Beispiel für „Hilfs“ -Daten ist die Art von Daten, die zum Rendern verwendet werden Hochwertiges Audio und Video, Fotografieren, Laden von Karten und Texturen in Videospielen usw. Diese Daten verbrauchen viel RAM (nicht so viel wie) 1 TB, aber es ist immer noch mehr als ein durchschnittliches Microsoft Word-Dokument), aber der Verlust dieser Daten ist nicht so riskant.

(Sie spielen jemals ein Videospiel und sehen den Hinweis, Ihren Computer nicht auszuschalten, wenn Sie dies tun Ja, dann schreibt Ihr Computer Ihre Daten vom RAM auf die Festplatte. Das Schreiben von Daten vom RAM auf die Festplatte ist auch einer der riskantesten Teile beim Verschieben von Daten. So werden gespeicherte Dateien am häufigsten beschädigt .)

1 TB RAM – für die Kosten, die mit dem Schreiben dieser Antwort verbunden sind – ist nur für einige wenige Workloads nützlich. Im Allgemeinen handelt es sich bei diesen Workloads um schwerwiegende Aufgaben zur Eingabe von Zahlen, für die andernfalls große Mengen an E / A erforderlich wären.

In-Memory-Rechen-Workloads do erfordern enorme Mengen an RAM. 1 TB ist eigentlich nicht genug. Sie halten ganze Datenbanken im RAM, um unglaublich schnelle Berechnungen durchzuführen. Diese Art von Daten sind jedoch weder „Hilfs“ -Daten noch Daten, die einfach rekonstruiert oder neu geladen werden können (wie Sie es beim einfachen Rendern Ihres Videoprojekts tun würden).

Die meisten Personen – ich selbst eingeschlossen – führen keine speicherinternen Datenbanken aus oder müssen ganze Datensätze für die Verarbeitung im Speicher halten.

Wenn Sie also eine Anwendung haben Dadurch werden häufig Daten gespeichert (E / A-Übertragung auf die Festplatte). Dann benötigen Sie keine große RAM-Größe. Angenommen, Microsoft Word in diesem Beispiel speichert Ihre Daten regelmäßig auf der Festplatte, sodass die Fehlerquote gering ist (wenn der Arbeitsspeicher zwischen den Speichervorgängen ausfällt, wird die Datenmenge / Arbeit seit der letzten E / A-Übertragung ausgeführt verloren geht und das auf ein Minimum beschränkt ist). Das ändert sich nicht, je mehr RAM Sie haben.

Die meisten Anwendungen und Workloads sagen dem Betriebssystem nicht: „Geben Sie mir den gesamten RAM, den Sie haben.“ Sie haben also eine große Anzahl von Anwendungen, die Workloads mit 1 TB RAM erstellen. Sicher, es ist schnell und es wäre schön, das zu können, aber ist es diese Kosten wert? Mir? Nein.

Die meisten Daten, an denen der Durchschnittsverbraucher arbeitet, erfordern keine derart großen Kapazitäten, um in einem flüchtigen Speicher gespeichert zu werden.

Mit 1 TB RAM haben einige Leute dies empfohlene RAM-Disks. Leider ist das genau der Anwendungsfall, auf den ich mich beziehe, dass 1 TB RAM der am wenigsten ist. span> praktisch geeignet.

Falls Sie nicht wissen, was eine RAM-Disk ist, handelt es sich um einen speziellen Anwendungsfall, bei dem das Betriebssystem eine bestimmte Speichermenge als sehr, sehr schnell behandelt Scheibe. Das Problem ist, dass alles , was auf dieser RAM-Disk gespeichert ist, – Sie haben es erraten – flüchtig ist. Die Verwendung einer RAM-Disk als Hauptarbeitsbereich für Ihren Computer ist für viele Menschen oft zu verlockend, und sie sind schockiert, als sie feststellen, dass eine Menge Daten sie für sicher hielten und sicher war es nie.

Jeder, der RAM-Datenträger für die geschäftskritische Datenspeicherung verwendet, fragt nach Problemen. Jedes Mal, wenn Sie an einer RAM-Disk arbeiten und die Datei „speichern“, , wird sie nicht dauerhaft gespeichert . Sie müssen immer noch alle diese Daten auf ein permanentes Hauptspeichergerät zurückschreiben. Angenommen, 1 TB Daten sind viel länger als die Leute glauben.

(Hinweis: RAM-Datenträger können automatisiert werden, um sie auf einem permanenten Speichergerät zu speichern, ähnlich wie in Ihrem Microsoft Word-Dokument, aber 1 TB dauert immer noch sehr lange ,

VMs sind hier besonders hervorzuheben, und ich bin Thomas Zoltan dankbar, dass er sie angesprochen hat. Virtuelle Maschinen arbeiten sehr, sehr gut mit viel RAM, und das Host-Betriebssystem muss in der Lage sein, es bereitzustellen – insbesondere, wenn Sie mehrere VMs auf demselben Computer hosten möchten.

(Hinweis: Ich habe den Anfangspunkt von Thomas ursprünglich falsch verstanden: Die VMs würden den RAM verwenden und nicht auf einer RAM-Disk gespeichert Er diskutierte beide Anwendungsfälle und ich hatte die beiden zusammengeführt. Ich glaube, ich verstehe jetzt, was er zu sagen versuchte.)

Natürlich verwende ich solche VMs alle in meinem Testlabor die Zeit. Meine Testmaschinen verfügen über 128 GB RAM, um das schnelle Hoch- und Herunterfahren von VMs zu bewältigen, und TBH könnten definitiv etwas mehr Raum zum Atmen beanspruchen, zumal die Software von VMware nicht mehr so ​​schlank und gemein ist wie früher be.

Die meisten Personen (ich selbst eingeschlossen) verwenden jedoch keine VSAN- oder vSphere-Umgebungen in ihrem Zuhause. Ich habe es in meinem Zuhause lab , aber es gibt nichts auf diesen Maschinen, was auch nur aus der Ferne als geschäftskritisch angesehen werden könnte.

Und letztendlich ich Ich denke, hier liegt das Missverständnis in einigen Kommentaren zu dieser Antwort. Einige Leute dachten, ich hätte gesagt, dass es keinen Anwendungsfall für so viel Speicher gibt überhaupt . Ich finde das rätselhaft, weil ich gesagt habe:

[D] Das Geld, das ich von 1 TB RAM erhalten würde, ist den Verlust mehr als wert mit so viel flüchtigem Speicher.

Und das ist wahr. Mit echtem, zugänglichem 1 TB RAM ( kann keiner meiner Computer so viel RAM verwenden! Wie in, haben sie nicht die Fähigkeit, use it) ist eine sehr teure Angelegenheit, und das Geld, das ich dafür bekommen würde ist mehr wert, als es jetzt zu haben .

In 4 oder 5 Jahren? Nun, wer weiß. Wir werden wahrscheinlich auf diese Antwort zurückblicken (wie wir es bei allen computerbezogenen Antworten tun, die sich mit Geschwindigkeiten und Feeds befassen) und denken: „Wie urig! Erinnern Sie sich, als 1 TB unerschwinglich war? “ 🙂

Übrigens…

Der Grund, warum das Konzept in die Diskussion aufgenommen wurde, ist, dass ich einen Kunden hatte, der eine große Menge an In-Memory-Verarbeitung durchgeführt hat (tatsächlich 1 TB). , der in der Lage sein musste, alle gespeicherten Berechnungen in 8 Sekunden auf die Festplatte zu legen. Das Problem war (und ist), dass es während der Berechnung der Ergebnisse mit einer phänomenalen Geschwindigkeit keine Möglichkeit gab, die Daten in der Zeit, in der das System aufgrund eines Notfalls (Feueralarm, Failover, Systemschwellenwertwarnungen usw.).

Es stellt sich also die Frage, wie viel RAM sich lohnt. Was ist der Wert eines „etwas“ etwas schneller pro $ / £ / E? Nun, das muss jeder entscheiden. Für mich wurde diese Wertlinie noch nicht überschritten.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.