Denne tråd er over 6 måneder gammel
Er du sikker på, at du har noget relevant at tilføje?
Hjælp til nye diskeAf Mega Supporter QWERTY Andreas | 15-02-2021 14:59 | 1923 visninger | 12 svar, hop til senesteHey
TL;DR: Skal have nye diske til min computer/workstation - og jeg er lidt i tvivl om hvor pengene skal prioriteres, da jeg er en smule på stramt budget. Har brug for massere af plads, og samtidigt noget "throughput"
Har brug for anbefalinger - og evt. gerne inputs hvis man har arbejdet en smule med noget tilsvarende. I den ideelle verden, havde jeg self. bare proppet computeren med intel optane, men så skal jeg vidst optage en væsentlig studiegæld ;)
_______________________________________________________________________________
Lang version: I forbindelse med min specialeskrivning (udd: Matematik-Økonomi), arbejder jeg med numeriske økonomiske modeller :) For de særligt interesserede, er det ikke nærmere bestemt konveks dynamisk stokastisk optimering samt monte-carlo simulationer.
I øjeblikket har jeg 3 stk. 128GB SSD'er og én 2 TB HDD i min maskine. Det er som sådan okay (udover SSD'en til OS er lidt lille efterhånden), det er dog desværre ikke helt nok.
Ved én kørsel genererer min model i øjeblikket ~150-200GB data - og det ender nok oppe i en små 2-4 TB data, når den er færdig. Det er ikke helt til at sige endnu, da jeg naturligvis ikke er færdig, men "back of the enevelope" giver ~30*100GB = 3 TB.
Den tager i øjeblikket ~2200s at løse, hvilket nok tager ~15*2200s = 33.000s at løse alt i alt - altså ~10t.
Da jeg "kun" har 128GB RAM til rådighed, skal en del af data'en gemmes undervejs. Hvis man kan skrive data i realtid, efterhånden som der regnes vil der være brug for en skrivehastighed på 3.000.000mb/33.000s = ~91mb/s.
Udfordringen består i at en stor del, nok skal skrive efter en beregning - dvs. i chunks af ~150GB. Altså ikke kontinuerligt, alt i mens der regnes, men undervejs. Derfor skal jeg have fundet den storage løsning, som giver bedst mulig mening, uden det totalt slagter performance. Antaget at man skriver 150GB med 150mb/s (en god dekstop HDD?), vil det resultere i 150.000mb/(150mb/s) = 1000s ~17min - som igen skal gøres 20 gange. Altså 5-6t ekstra køretid, blot for storage.. Det kunne være fedt hvis det kan undgåes ;)
Min umiddelbare tanke er at have en NVME SSD som jeg skriver til i første omgang, hvorefter jeg har et script (eller tilsvarende) som skriver til HDD mens man regner næste "chunk" data.
Er der andre gode måder at gøre det på?
_______________________________________________________________________________
Mine egne tanker er følgende:
1 stk. 1 TB NVME SSD, f.eks. en WD Black SN750 eller Corsair Force MP510.
1 stk. 6-8 TB HDD
Nogle anbefalinger til en god SSD?
Hvad er en god, traditionel, HDD? Og hvad skal man regne med af hastighed?
Jeg er også åben overfor brugthandel (!)
Mvh. Andreas
--
NZXT H510 Elite med: Dual Xeon E5-2670v3, 128GB RAM, GTX 1650 super, custom vandkøling
Frem for EN 6-8 TB HDD, hvorfor så ikke sætte 3-4 stk 2 TB i raid, det vil øge hastigheden væsentlig.
--
Gæstebruger, opret dit eget login og få din egen signatur. Jeg ville nok snuppe en NVME hvis du kan det på dit bundkort - kender ikke Xeon godt nok, men tænker på du nok har styr på den del :)
Begge de diske du selv har kikket på for gode anmeldelser og ser ud til de kører max af hvad PCIe3 kan klare, dog ikke "for evigt", se nedenstående graf - hvor du også kan se hvilke diske der evt. performer lidt bedre.
WD Black SN750
https://cdn.mos.cms.futurecdn.net[...]
Snuppet fra
https://www.tomshardware.com[...]
OBS: Kan se den også bliver sammenlignet med Adata SX8200 Pro, som ja var en mega god og billig disk da den kom ud, men Adata har valgt at spare så både chips og kontroller er udskiftet, men stadig med samme navn og nu har den nok nærmere halv performance ifht. da den lige kom ud!!!
--
Tag altid BACKUP!!
--
Sidst redigeret 15-02-2021 16:46 En ekstra tilføjelse til #2 så er 1TB NVME nok det bedste valg, selvom du ikke har brug for 1TB så performer de normalt bedre end 128, 256 og 512gb versionerne.
Ifølge graferne vil en WD Black SN750 kunne skrive de 150gb på ca. 1min 40sek
https://cdn.mos.cms.futurecdn.net[...]
Pcie4 ville self. kunne gøre det hurtigere, men det har dit bundkort nok næppe :-)
--
Tag altid BACKUP!!
--
Sidst redigeret 15-02-2021 16:53 Nærmere specificerede specs på din maskine ville gøre det lidt nemmere at give dig konkrete og kvalificerede bud på diske....
--
Great minds discuss ideas; Average minds discuss events; Small minds discuss people. #1: RAID 0 er helt klart også et bud. En enkelt disk var mest ift. pris, da det vidst er omkring 6-8TB at "sweetspot" er mht. pris/størrelse. Men måske er 2TB diske en god mulighed, hvis man ser efter brugt :) Det skal ihvertfald undersøges!
#2/#3: Tak! Jeg havde faktisk overvejet Adata SX8200 Pro, men det gør jeg ikke længere i så fald. En 1 TB SN750 er nok det bedste bud - den ser ud til at performe bedre end MP510, særligt når det kommer til "sustained writing". Og så er den også til 999,- hos komplett, hvilket jo ser ud til at være en fin pris.
Jeg tænker også at OS kommer på NVME disken, så 1 TB er vidst også minimum efterhånden.. Men 1 min og 40 sek ville ikke være galt, så kan man jo evt. skrive over til en langsommere HDD mens den regner videre :)
#4: 2stk Xeon E5-2670 v3 m. turbo-unlock, Asus Z10PA-D8, 8x16 GB DDR4 ECC @2133MHz
Har et enkelt PCIe=>NVME indstikskort, og bundkortet har desværre kun en enkelt M.2 2242 som kører på PCIe gen2 (hvilket er ret dumt, taget antallet af PCIe lanes på systemet i betragtning...)
--
NZXT H510 Elite med: Dual Xeon E5-2670v3, 128GB RAM, GTX 1650 super, custom vandkøling Uden nogen nærmere indsigt, har du så overvejet at at se på komprimering af din data undervejs?
--
Desktop: MSI Gaming 5 Z97 | Intel Xeon E3-1230v3 | 12GB DDR3 | RTX 2080 Vær obs på PCIe gen 2 kun har 500 MB/s pr lane, så er det gen2 x2 er max nede på ca 1,6 gange SATA = 1000 MB/s
Det er jo noget helt andet end...
Gen3 x4 = ca 4000 MB/s
Gen4 x4 = ca 8000 MB/s
Så hvis det er Gen2 x2 vil alt over 1000 MB/s være spild* at bruge penge på når du køber SSD.
*Rart den er hurtigere hvis du en dag får et bundkort der supporter hurtigere, men agter du ikke at upgrade snart, vil disken nok uanset hvad være "forældet" til den tid.
Forældet = langt hurtigere Gen4 x4 vil til den tid nok kunne fås relativt billigt.
--
Gæstebruger, opret dit eget login og få din egen signatur. Sagt på en anden måde:
SN750 1TB yder 3470/3000MB read/write, men,,,
Hos dig vil den ryge ned på 1000/1000 eller i bedste fald 2000/2000.
Har du husket det i dine beregninger?
--
Gæstebruger, opret dit eget login og få din egen signatur. #6: Ikke umiddelbart - jeg forestiller mig det vil kræve en del overhead under skrivning/læsning? Det er ikke noget jeg ved super meget om. Jeg er mest nervøs for det vil være en "performance killer"..
#7/#8: Jeg har en PCIe => M.2/NVME adapter som indstikskort, så jeg kan køre gen3 x4 hastighed - det er blot mobo's indbyggede M.2 som er PCIe gen 2. Jeg regner med at bruge indstikskortet i stedet.
Beklager det var en smule uklart at forrige svar.
--
NZXT H510 Elite med: Dual Xeon E5-2670v3, 128GB RAM, GTX 1650 super, custom vandkøling
--
Sidst redigeret 15-02-2021 18:28 Jeg ville vælge 2x4TB over 1x8TB - det hænder af og til, at en HDD giver op, og det er bedre at miste 4TB end at miste 8TB, og ofte er 2x4TB også billigere. Vær opmærksom på, at mange nye diske - særligt de store - bruger SMR, og det bør du undgå. Køb diske der bruger CMR i stedet for: https://www.securedatarecovery.com[...]
--
http://xlinx.dk[...] i7 2600K, 16GB PC3-12800, GA-Z68XP-UD4 R1, GTX 560Ti HAWK, 250GB 840 EVO #10: Jeg kan faktisk godt erindre at have læst om SMR og CMR tidligere.. Men det er så kommet i glemmebogen igen - det er værd at være opmærksom på. Tak for heads-up!
Ift. at miste diske, frygter jeg ikke det helt store - altså i udgangspunktet skal jeg "kun" have data fra modelkørsler på, hvilket ikke er så kritisk i.o.m. jeg blot kan generere det igen - selvom det da vil tage en del tid. Men hvis jeg nu sidder natten før, og min computer eller diske går ned, og jeg ikke har resultaterne i hus (med nogle tilhørende flotte figurer) er der væsentligt større problemer. Så jeg er ikke super nervøs for redundante diske, så længe jeg blot har backup af kode mv.
Derudover skal jeg også kun bruge det små 3,5mdr, i hvert fald i udgangspunktet.
Derimod tænker jeg 4 TB diske må være nemmere at finde brugt, og 2 stk. kan jo køre RAID 0 - hvilket kunne være en stor fordel!
--
NZXT H510 Elite med: Dual Xeon E5-2670v3, 128GB RAM, GTX 1650 super, custom vandkøling Hvis du kan gøre brug af et linux fil system ville ZFS med den NVME disk som SLOG være godt med nogle storage diske bagved.. Så kan du bruge ram, nvme og dine diske på samme tid, uden scripts.
--
Grundet øget spam aktivitet fra gæstebrugere, er det desværre ikke længere muligt, at oprette svar som gæst.
Hvis du ønsker at deltage i debatten, skal du oprette en brugerprofil.
Opret bruger | Login
|
Du skal være logget ind for at tilmelde dig nyhedsbrev.
Hvilken udbyder har du til internet? 424 personer har stemt - Mit energiselskab (Ewii f.eks) 11%
|