Hva kan jeg gjøre med 1 TB ram?

Beste svaret

Det første du må vite er at datamaskiner med så mye ram er tregere enn du tror. Å administrere at mange rambanker krever teknologi som gjør RAM-tilgangen langsommere (NUMA, ECC, adressering av andre sider av pinnen krever en stopphandling …). Tenk på dem som en stor lastebil mens den bærbare datamaskinen din er en bil (kanskje en F1). Hvis du trenger å skaffe deg dagligvarer, vil bilen være ditt valg.

Den andre tingen er at disse datamaskinene er veldig dyre. Ikke bare på grunn av RAM-pinner, men alt må skaleres. Serverens hovedkort, mange XEON-prosessorer, enorme RAM-pinner … alt dette såkalte «profesjonelle» maskinvaren kom med «serveravgift» dobbelt pris for hver 10\% ytelsesøkning. Du kan få mye mer datakraft ved å kjøpe flere varer av rimelig størrelse.

Det meste av tiden må en datamaskin være balansert. Hvis du har så mye RAM, trenger du mange kjerner for å jobbe med det, og en veldig rask rekke SSD for å laste og lagre data. Noen bruksområder er ikke balansert og krever mer av en ressurs.

For en vanlig hjemmebruker bruker det ikke så mye ram.

Så hva bruker det av slike dyr? De er nyttige når du trenger å jobbe med mye data samtidig. Selv om RAM-minnet er tregere enn RAM-en til en vanlig datamaskin, er den fortsatt raskere enn den raskeste SSD-en.

Så vanlige bruksområder inkluderer:

  • stor i relasjonsdatabase for minne
  • stor nøkkelverdi-butikk (ingen sql)
  • store diagramdatabaser
  • noen vitenskapelige jobber: dna-studie, simulering
  • enorm PLM-konfigurasjon servere i bil- og luftfartsindustrien
  • som kjører VM (dette er en dum bruk, men likevel en av de mest sett)

Selv i profesjonelle verden, gode IT-team pleier å spre oppgavene på flere datamaskiner ved hjelp av algoritmer som kartreduksjon, gjengi gårder for 3D-gjengivelse … Hvis det er mulig, er det mye mer effektivt, mer fleksibelt og lettere å håndtere feil. Du kan slå av datamaskiner eller legge til litt mer i målestokk med belastningen.

Også de fleste av disse datamaskinene er kjøpt av administrasjonssystemet av en av disse dumme grunnene:

  • De vil ikke ta noe ansvar, så de kjøper den største tilgjengelige datamaskinen, og hvis programvaren mislykkes, kan de si at det ikke er deres feil fordi de gjorde det maksimale.
  • De er nerd, og de vil ha større leker enn vennene sine. Hvis arbeidet ditt betaler deg hvilken bil du vil, vil du skaffe deg en Prius eller en Bugatti?
  • Kjøpsprosessen er veldig treg i deres selskap og innebærer mange handlinger som koster enda mer i menneskelige ressurser enn maskinvaren seg selv. Da de fikk serveren, ble det maskinvare for komorbiditet (litt overdrivelse der).
  • Hvis sjefen din vet at IT kjører på $ 500 ut av hyllecomputerne, ser de på deg som rørlegger, er det vanskeligere å rettferdiggjør lønnen din enn om du administrerer millioner av infrastruktur og ser ut som en kjernefysisk anleggsleder.

Ja, alle disse er dumme, men veldig vanlige. Det er min daglige jobb å omorganisere infrastrukturer og optimalisere kostnadene.

En liten historie å avslutte: Etter 3 års tjeneste dukket det opp et problem i en meldingstjeneste (Kafka). Noen meldinger ble lagret flere ganger, og det gjør at den neste programvaren i kjeden mislykkes (den burde ha håndtert det). Etter etterforskning fant jeg i dokumentasjonen at det var normal oppførsel av meldingssystemet under belastning. Det garanterer at meldinger ankommer minst en gang, men det kan være doble meldinger. Jeg sa «systemet er overbelastet» IT-teamet lo av meg «vi når ikke engang 10\% på våre 3 noder x 48 kjerner, 1 TB RAM-klynge, du er dum» … Jeg fortsatte å si og ba om tilgang på tjenesten for å finne problemet. Når de kjente mine tidligere handlinger og fryktet at jeg avslører en feil, sjekket de alt på nytt. Det så ut til at i 10-linjers konfigurasjonsfil til Kafka ble det skrevet «number\_of\_thread = 4». Ja, de kjørte en tjeneste på $ 150 000 klynger og bruker bare 4 kjerner på hver node, det er derfor den aldri får over 10\% CPU-bruk. Ingen av de 20 involverte personene så det. Det fungerte slik i 3 år, til og med en $ 1000 bærbar datamaskin ville ha gjort jobben. De gjør samme slags ting på alle applikasjoner jeg så i dette selskapet. Likevel har de mer enn 150 000 ansatte og driver 3 store datasentre. Mange selskaper gjør det samme, jeg kan fortelle deg massevis av historier som dette …

Svar

Hvis datamaskinen din hadde 1 TB RAM, hva ville du gjort med det?

Takk for A2A. Ærlig talt … selg det.

Seriøst er pengene jeg ville fått fra 1 TB RAM mer enn verdt tapet av å ha så mye ustabilt minne.

Her er tingen. Hvis noe går galt med datamaskinen din, er det ingen måte at du kan dumpe 1 TB RAM på permanent lagring på den tiden det tar for et system å kollapse. / p>

RAM er noe av en «Goldilocks» -teknologi.Alt som er så stort som krever at mye RAM vil aldri kunne lagres i tide. Selv ond-rask Persistent Memory (PM) -teknologi som Z-NAND eller 3DXPoint kan rett og slett ikke holde tritt med det enorme dataraset som kreves.

[Rediger – nesten et år senere]

OK, så dette svaret har fått noen kommentarer, og det ser ut til at det må komme litt ekstra avklaring. Jeg kommer til å kaste sammen noen av svarene mine på kommentarene for å gjøre dette mer flytende.

Datamaskiner er designet for å lagre data, ikke miste den. RAM er ustabilt, og plasserer dermed dataene med stor risiko.

Noen data er «hjelper» -data. Si for eksempel prosesser som kjører i systemet ditt som har veldig korte holdbarhetstider (som prosesser som oppdaterer metadataene på filsystemet ditt). De lever i RAM fordi verktøyet deres er ekstremt kortvarig. De krever heller ikke mye RAM.

Et annet eksempel på «hjelper» -data er typen data som brukes til å gjengi høykvalitets lyd og video, gjør fotograferingsarbeid, laster inn kart og teksturer i videospill osv. At data bruker mye RAM (ikke så mye som 1 TB, men likevel er det mer enn ditt gjennomsnittlige Microsoft Word-dokument), men å miste dataene er ikke like risikabelt.

(Du spiller noen gang et videospill og ser varselet om ikke å slå av maskinen din når du se «lagre spill» -symbolet? Ja, det er da maskinen din skriver data fra RAM til disk. Å skrive data fra RAM til disk er også en av de mest risikofylte delene av å flytte data rundt. Det er hvordan lagrede filer blir ødelagt oftest .)

Å ha 1 TB RAM – for kostnadene som jeg skrev dette svaret – er nyttig for bare noen få utvalgte arbeidsbelastninger. Generelt sett er disse arbeidsbelastningene alvorlige antall knusende oppgaver som ellers ville krevd store mengder I / O.

Beregnende arbeidsmengder i minnet gjør krever enorme mengder RAM. 1 TB er faktisk ikke nok. De holder hele databaser i RAM for å gjøre onde-raske beregninger. Denne typen data er imidlertid ikke «hjelper» -data, og det er heller ikke data som lett kan rekonstrueres eller lastes inn på nytt (som du ville gjort med å bare gjengi videoprosjektet).

De fleste mennesker – inkludert meg selv – kjører ikke databaser i minnet eller trenger å holde hele datasettene i minnet for behandling.

Så hvis du har et program som ofte lagrer data (I / O-overføring til disk), da trenger du ikke en stor RAM-størrelse. Si at Microsoft Word i dette eksemplet vil lagre dataene dine på disken regelmessig slik at feilmarginen er liten (hvis RAM mislykkes mellom lagringene, er datamengden / arbeidet som er gjort siden forrige I / O-overføring. er tapt, og det er holdt på et minimum). Dette endres ikke med mer RAM du har.

De fleste applikasjoner og arbeidsbelastninger sier ikke til operativsystemet: «Gi meg all RAM du har.» Så det du har er et stort antall applikasjoner som skaper arbeidsbelastninger med 1 TB RAM. Visst, det er raskt, og det ville være fint å kunne gjøre det, men er det verdt den kostnaden? Til meg? Nei.

De fleste dataene som gjennomsnittsforbrukeren jobber med, krever ikke at så store mengder kapasitet holdes i flyktig minne.

Nå, med 1 TB RAM, har noen mennesker foreslåtte RAM-disker. Dessverre er det presist brukssaken som jeg henviser til at 1TB RAM er minste passer praktisk.

Hvis du ikke er kjent med hva en RAM-disk er, er det et spesielt brukstilfelle der operativsystemet behandler en bestemt mengde minne som en veldig, veldig rask harddisk disk. Problemet er at alt som er lagret på den RAM-disken er – du gjettet det – flyktig. Å bruke en RAM-disk som et hovedarbeidsområde for datamaskinen din er ofte for fristende for mange mennesker, og de er sjokkerte over å finne at mye data som de trodde var trygge og sikker var det aldri.

Alle som bruker RAM-disker for oppdragskritisk datalagring, ber om problemer. Hver gang du gjør noe arbeid på en RAM-disk og “lagrer” filen, , blir den ikke lagret permanent . Du må fortsatt skrive alle disse dataene tilbake til en permanent permanent lagringsenhet. Forutsatt 1 TB data, er det mye lenger enn folk skjønner.

(Merk: RAM-disker kan automatiseres for å lagres på en permanent lagringsenhet, akkurat som Microsoft Word-dokumentet ditt gjør, men 1 TB tar fortsatt veldig mye , veldig lang tid å flytte til disk i en nødsituasjon.)

VM-er er nyttige for spesiell omtale, her, og jeg er takknemlig til Thomas Zoltan for å ta den opp. Virtuelle maskiner gjør det veldig, veldig bra med mye RAM, og verts-operativsystemet må kunne levere det – spesielt hvis du planlegger å være vert for flere virtuelle maskiner på samme maskin.

(NB: Jeg misforsto opprinnelig Thomas første poeng, var at virtuelle maskiner ville bruke RAM-en, ikke lagres på en RAM-disk . Han diskuterte begge brukssakene, og jeg hadde samlet de to. Jeg tror jeg nå skjønner hva han prøvde å si.)

Selvfølgelig bruker jeg slike virtuelle maskiner i testlaboratoriet mitt hele tiden. Testmaskinene mine har 128 GB RAM for å kunne håndtere rask spin-up og spin-down av virtuelle maskiner, og TBH de kunne definitivt bruke litt mer pusterom, spesielt ettersom VMwares programvare ikke er så mager og slem som den pleide å gjøre være.

De fleste mennesker, men (inkludert meg selv), bruker ikke VSAN- eller vSphere-miljøer i hjemmet. Jeg har det hjemme lab , men det er ingenting på de maskinene som til og med kan fjernbetraktes som oppdragskritiske.

Og til slutt, jeg tror det er der misforståelsen ligger i noen av kommentarene til dette svaret. Noen hvordan folk tenkte at jeg sa at det ikke var bruk for så mye minne i det hele tatt . Jeg synes dette er forvirrende, for det jeg sa var:

[D] e pengene som jeg ville fått fra 1 TB RAM er mer enn verdt tapet av har så mye ustabilt minne.

Og dette er sant. Å ha ekte, tilgjengelig 1 TB RAM ( ingen av datamaskinene mine kan til og med bruke så mye RAM! Som i, har de ikke muligheten til å bruk det) er et veldig dyrt forslag, og pengene jeg ville fått for det er verdt mer enn å ha det akkurat nå .

Om fire eller fem år? Vel, hvem vet. Vi vil sannsynligvis se tilbake på dette svaret (som vi gjør med alle datarelaterte svar som omhandler hastigheter og feeder) og tenker: «Så eiendommelig! Husker du når 1 TB var uoverkommelig ? ” 🙂

Forresten …

Årsaken til at konseptet kom inn i diskusjonen er at jeg hadde en kunde som gjorde en stor mengde in-memory-behandling (1TB, faktisk) , som trengte å kunne slippe alle de lagrede beregningene til disken på 8 sekunder. Problemet var (og er fremdeles) at mens arbeidsmengden beregnet resultatene i en fenomenal hastighet, var det ingen måte å lagre dataene til permanent lagring i den tiden systemet ville slå seg av på grunn av en nødsituasjon (brannalarm, failover advarsler om systemets terskel osv.).

Så spørsmålet blir, hvor mye RAM som er «verdt det?» Hva er verdien av en «liten» raskere per $ / £ / E? Vel, det er for hver person å bestemme. For meg er denne verdigrensen ennå ikke krysset.

Legg igjen en kommentar

Din e-postadresse vil ikke bli publisert. Obligatoriske felt er merket med *