Seneste forumindlæg
Køb / Salg
 * Uofficiel Black/White liste V3
Login / opret bruger

Forum \ Hardware \ Generel hardware
Denne tråd er over 6 måneder gammel

Er du sikker på, at du har noget relevant at tilføje?

PC til machine learning på jobbet

Af Ultrabruger Feldthusen | 05-10-2023 09:13 | 2521 visninger | 27 svar, hop til seneste
Hej hol Vi skal bruge en PC til vores studerende som har behov for noget machine learning og har i det omfang fået følgende anbefaling af HW fra deres universitet: i7-13900 og en 4090, og så 64 GB ram. Jeg havde tænkt på følgende HW til vores setup, men er der nogle andre dele jeg burde se på kontra de valgte? Har jeg glemt noget HW som burde være smart lige at få med i mit build? :) CPU: i9-13900k - 4694 https://www.proshop.dk[...] MB: GIGABYTE Z790 AORUS ELITE AX - 2218 https://www.compumail.dk[...] CPU køler: NZXT Kraken X73 - 1406 https://www.komplett.dk[...] Ram: Kingston FURY Beast DDR5-5600 C40 DC - 64GB - 1831 https://www.proshop.dk[...] Disk: Samsung 990 PRO SSD PCIe 4.0 NVMe M.2 - 1TB x2 - 707 x2 https://www.proshop.dk[...] PSU: Corsair RM1000x (2021) Strømforsyning - 1000 Watt - 135 mm - 80 Plus Gold certified - 1449 https://www.proshop.dk[...] GFX: RTX 4090 - Hvilken producent bør man vælge? -15000 Tower: Corsair 5000D AIRFLOW - 1299 https://www.proshop.dk[...] Blæser: 4x Noctua NF-P12 PWM 120mm (front + Bagside) - 168 x4
--
#1
BoreBissen
Guru
05-10-2023 09:21

Rapporter til Admin
Hurtigere RAM, formoder jeg. Herinde anbefaler folk 6000 MHz/ Cl30.
--
Ryzen 5700x | 16 GB RAM 3200 MHz ASUS STRIX B550-F | PNY 480 GB SSD | Kingston NV2 NVMe - 1TB ASRock Rx 6800 XT 16 GB | NZXT C850 | Corsair H115i
#2
SShadowS
Guru
05-10-2023 09:23

Rapporter til Admin
Helt klart andre ram. Men ellers ser det fint ud.
--
5950X|Crosshair VIII Formula|64GB RAM ASUS4090STRIX-OC|PG279Q 980 PRO 2TB|970 EVO+ 2TB|Samsung 860 PRO 2TB 2xSamsung860 QVO 2TB|Corsair AX1600i
#3
Feldthusen
Ultrabruger
05-10-2023 09:32

Rapporter til Admin
#1 Hurtigere? Er max 5600 ikke hvad man kan kører med et intel system? #2 Hvilke vil du anbefale at skifte dem ud med?
--
#4
SShadowS
Guru
05-10-2023 09:45

Rapporter til Admin
Ville vælge nogle C30 og så 6000+ indenfor budget.
--
5950X|Crosshair VIII Formula|64GB RAM ASUS4090STRIX-OC|PG279Q 980 PRO 2TB|970 EVO+ 2TB|Samsung 860 PRO 2TB 2xSamsung860 QVO 2TB|Corsair AX1600i
#5
Feldthusen
Ultrabruger
05-10-2023 09:49

Rapporter til Admin
#4 - Så skifter vi dem ud med nogle G.Skill Ripjaws S5 DDR5-6000 BK C30 DC - 64GB https://www.proshop.dk[...]
--
#6
SShadowS
Guru
05-10-2023 09:54

Rapporter til Admin
#5 Ved GFX producent, så er det lidt op til jer selv. Ville dog holde mig fra 450Watt versioner, man oplever ikke forskel ved gaming på de to da det er burst. Men ved lang compute,. som ML, så giver 600Watt versionerne meget mere mening, da de kan holde top speed i lange sessioner. Bruger selv mit til en del ML. Mest LLMs.
--
5950X|Crosshair VIII Formula|64GB RAM ASUS4090STRIX-OC|PG279Q 980 PRO 2TB|970 EVO+ 2TB|Samsung 860 PRO 2TB 2xSamsung860 QVO 2TB|Corsair AX1600i
--
Sidst redigeret 05-10-2023 09:55
#7
Jesper Gæst
Elite Supporter
05-10-2023 10:02

Rapporter til Admin
#3 Folk har ret i hurtigere RAM, men de går lidt skævt på hastigheden. 6000 MHz CL 30 er rigtig nok optimalt, men det er til... AMD! Til Intel bør du vælge 6400 MHz CL 32. (Eller evt 7200/7600 MHz hvis man kun skal have 32 GB i alt) Køb 2x32 GB, IKKE 4x16 GB. Og nej 5600 MHz er ikke max, det er det officielle tal, ligesom 3200 MHz er det officielle tal for DDR4. Men folk køber jo ikke 3200/5600 MHz i dag, da langt hurtigere RAM er testet af diverse bundkortfabrikanter. Du kan på bundkortfabrikanten site finde QVL (Qualified Vendor List). https://www.gigabyte.com[...] Af 32 GB stick er eks disse testet af bundkortfabrikanten og på QVL... F5-6400J3239G32GX2-TZ5RK https://www.pricerunner.dk[...] PS. CL (ventetid) er lige så vigtig som hastighed (MHz), og bør være så lav så mulig. CL stiger når MHz er højere, men dem du valgte i 5600 MHz er helt i skoven, i 5600 MHz er CL 28 det optimale (hvis man går med så lav MHz).
--
Sidst redigeret 05-10-2023 10:06
#8
Feldthusen
Ultrabruger
05-10-2023 10:03

Rapporter til Admin
#6 Havde blot tænkt på et ASUS GeForce RTX 4090 ROG STRIX OC - 24GB GDDR6X RAM. Men hvor pokker ser du om det er 600W version? Hvilket et har du til dit ML setup? Snupper gerne alle de erfaringer jeg kan komme i nærheden af da jeg er på dybt vand i det område :)
--
#9
Feldthusen
Ultrabruger
05-10-2023 10:06

Rapporter til Admin
#7 Super tak :)
--
#10
SShadowS
Guru
05-10-2023 10:06

Rapporter til Admin
#8 Det er præcis det jeg har. :)
--
5950X|Crosshair VIII Formula|64GB RAM ASUS4090STRIX-OC|PG279Q 980 PRO 2TB|970 EVO+ 2TB|Samsung 860 PRO 2TB 2xSamsung860 QVO 2TB|Corsair AX1600i
#11
Feldthusen
Ultrabruger
05-10-2023 10:10

Rapporter til Admin
#10 Fedt - Det er noret ned til listen af dele
--
#12
Jesper Gæst
Elite Supporter
05-10-2023 10:21

Rapporter til Admin
Når nu det er til en firma-pc (hvor prisen ikke virker som det vigtigste) vil jeg for god ordens skyld lige nævne, at du har mulighed for at vælge den lidt hurtigere 13900KS (flere MHz),ikke at forveksle med 13900KF (uden iGPU). Mange penge for den sidste topydelse, og ikke noget jeg ville nævne for en gamer. https://www.komplett.dk[...] Du bør også være obs på 14 Gen Intel nok rammer gaden inden ikke såå længe, hvis ikke pcen haster. Der siges i særligt multicore at være op til ca 20% merydelse at hente. The Intel 14th gen release date is Tuesday, December 14th, 2023, based on leaks and previous release schedules, as there has been no official announcement. Dato er formodningen som var gældende 20 September.
--
Sidst redigeret 05-10-2023 10:26
#13
Jesper Gæst
Elite Supporter
05-10-2023 10:28

Rapporter til Admin
Andre formoder den rammer gaden allerede 17 Oktober. https://videocardz.com[...]
--
#14
Feldthusen
Ultrabruger
05-10-2023 10:33

Rapporter til Admin
#12 / 13 - Det er godt nok firma PC og cheferne bliver nok os rimelige glade for at vi er gået fra et GFX til 150.000 til nu at være under 40.000 ink moms. Men Syntes det er lidt høj pris for de sidste pr mhz. Jeg har lidt tid at kører på endnu, ønsket er at den er oppe og kører inden års skiftet og skal have hardware klar til at samle senest omkring 1 dec hvis det os skal nås at have den installeret og testet af inden juleferien.
--
#15
Jesper Gæst
Elite Supporter
05-10-2023 10:35

Rapporter til Admin
#14 Så ville jeg helt sikkert vente så længe så muligt og se om 14 Gen når at komme og hvad den bringer af review. (Er du heldig, kommer den jo senere i denne måned eller i næste)
--
Sidst redigeret 05-10-2023 10:35
#16
Feldthusen
Ultrabruger
05-10-2023 10:39

Rapporter til Admin
#15 Det kan du have en pointe i. Er dog lidt bekymret for nyeste hardware, hvor der kan være lidt bugs og fintuning der mangler. PC'en har ikke mulighed for at lige at vente på ny bios eller andet for at kunne kører stabilt.
--
#17
Jesper Gæst
Elite Supporter
05-10-2023 10:44

Rapporter til Admin
#16 Fair nok, synes bare du i hvert fald skulle have det med i overvejelserne, når nu det er en arbejds-pc, og ikke bare en gamer-pc. Skulle den komme allerede 17 Oktober som Videocardz (ret godt site om kommende ting) tror, så har du trods alt 2 måneder til bios updates samt review, og folk fortæller om der er behov for bios updates. (Vi nørder følger jo med i om den kommer til at køre smertefrit eller om noget halter)
--
Sidst redigeret 05-10-2023 10:46
#18
Feldthusen
Ultrabruger
05-10-2023 10:49

Rapporter til Admin
#17 Den er med i overvejelserne og lader ledelsen bestemme om de vil smide de sidste par kr og ører. Jeg holder et ekstra øje med siden her de næste par måneder. Så må vi se hvornår det bliver frigivet og hvor godt det kører fra start af :)
--
#19
Optaget Brugernavn
Megabruger
05-10-2023 20:40

Rapporter til Admin
Inden I køber jer fattige i alle de dyreste enkeltkomponenter på alle fronter er det værd at overveje præcis 1) hvilken form for ML, og 2) hvilken mængde data, der skal arbejdes på. Hvis I, e.g., har meget store datamængder, er det altovervejende sandsynligt, at I får mest ud af at investere på GPU-siden, og lidt eller intet ud af at købe en 10% hurtigere CPU til 25% merpris. Det skyldes, at mange af de mest brugte ML-værktøjer forsøger at køre alt parallelt i -- oftest/nemmest -- NVidias "CUDA-kerner" med så lidt afhængighed som muligt af de (relativt) få kerner en CPU tilbyder. Hvis I har meget meget store datamængder, er det værd at overveje NVidias "professionelle" GPU-linje. Modsat NVidias consumer-produkter, er der nemlig i dem een eller anden mulighed for at køre den samme ML-model på tværs af adskillige GPU'er, hvilket skubber skalérbarheden af modellen et helt andet sted hen. Hvis I har meget meget meget store mængder data, er der også virksomheder rundt omkring, der sælger adgang til maskiner, der eller ikke ville være praktiske for enkelte virksomheder eller universiteter at finansiere. Generelt er det nok hensigtsmæssigt at pilotere jeres konkrete projekt før I gør brug af den rådgivning, der tilbydes af os herinde. Til dét er der jo, e.g., Google Colab, hvis ikke I har den rette Cuda-kapable maskine stående i et RGB-oplyst rum derhjemme. Ingen herinde ved, hvad der er rigtigt til jeres konkrete datasæt og formål. Det er altså dét, du først skal afklare.
--
https://meta.wikimedia.org[...] 45 76 65 72 79 62 6F 64 79 20 6C 6F 76 65 73 20 70 69 65 2E
#20
Feldthusen
Ultrabruger
06-10-2023 08:42

Rapporter til Admin
#19 Rigtige gode punkter du kommer med, og nogle af dem har vi været igennem. Vi har haft set på nogle af de "rigtige" GPU til data behandling. Men priser op mod 150.000 var bare alt for meget til det vi ville, samt der ikke var plads i vores servere til et to slots GPU. Så skulle købe ny server + GPU blev alt for dyrt os derfor vi har valgt i samråd med de studerendes lærer at gå med RTX serien. Da det er vores første ML har vi valgt lidt at gå med læring som det skrider frem. Det er et forsøg til vores studerende som kan give værdig for virksomheden (måske ikke nu men på sigt). Så helt præcis hvilken form for ML er lidt usikkert for mig og os derfor vi har lagt os op af studiet anbefaling af hardware type. Det giver helt sikkert ikke den mere værdig at opgradere CPU'en til den seneste da vi kommer til at køre på GPU'en. Skulle vi nøjes med CPU kræften så havde vi serveren klar til det. Det data vi skal lege med tåler ikke at komme i de forkerte hænder. Derfor ryger det ikke op til Google eksempelvis. Der leger de allerede i dag med det "test" data de får fra deres studie.
--
#21
madshaar
Maxibruger
06-10-2023 09:04

Rapporter til Admin
Så vidt jeg ved er hastigheden på dine ram ikke vigtigere end mængden. Jeg ville gå efter 128 gb ram og så skid hul i at de ikke er 6400+mhz.
--
#22
Jesper Gæst
Elite Supporter
06-10-2023 09:04

Rapporter til Admin
#20 Der er vel en grund til de studerendes lærer anbefaler den hurtigste Intel der findes (ud over den special edition jeg gjorde obs på)?? Ellers kunne de jo lige så godt have anbefalet en 13400. Det samme med RAM, der anbefaler de ikke de gængse 32 GB, men 64 GB, det må jo hænge sammen med noget cpuen skal lave. #21 Om hastigheden eller mængden af RAM er vigtigst, kommer an på om mængden er nok til det man laver, løber man tør er mængden vigtigst, løber man ikke tør er hastigheden vigtigst. Mon ikke de studerenes lærer har styr på om 64 GB er nok, når det er en anbefaling fra ham, der er som nævnt afveget fra hvad en "standard pc" typisk sælges med, så det er noget han aktivt har taget stilling til.
--
Sidst redigeret 06-10-2023 09:09
#23
Feldthusen
Ultrabruger
06-10-2023 09:54

Rapporter til Admin
#21 Så store data sets er det heller ikke de kommer til at køre afgangen. Så tror 64GB er mere end rigeligt. Vi havde snakket om 32GB på et tidspunkt, og ellers må vi købe flere ram at sætte i senere hen :) #22 Det er hvad de haft valgt til deres setup, og det som vi lægger os op af. Men jeg tror ikke vi komme til at mærke meget forskel om vi køre 13900, 13900k eller en 13900ks. Det er blot det jeg mener. Der er helt sikkert en grund til han har valgt den model i første omgang, og den ender nok os med at blive belastet noget af tiden. Om nogen af de sets de skal køre måske skifter lidt imellem GPU og CPU krav og derfor den er valgt, skal jeg ikke helt sige. Men som sagt så er det vores første ML og vi bruger det lidt som læring hvor skal vi sætte bedre ind når vi engang skal have noget nyt. Det er meget "leg" lige pt og se om det er noget vi kan drage til nytte på den lange bane.
--
#24
Jesper Gæst
Elite Supporter
06-10-2023 15:13

Rapporter til Admin
#23 Jeg læser lærerens anbefaling om en 13900K som: Hurtigst mulig Intel. Det er for de fleste 13900K. Kun nørder (og ret få andre) overvejer at der faktisk også findes en 13900KS. Men det er ikke et kæmpe løft i ydelse, der vil 14 Gen nok blive en del større. (Som sagt tales der om 20% i multicore, men væsentlig mindre i singlecore) Og inden folk kommer løbende og siger at 14 Gen blot er samme CPU som 13 Gen... Det var skiftet fra 12 Gen til 13 Gen også, og der blev vundet en del ydelse. (Det bliver først i 15 Gen der skiftes selve "struktur" på kernerne)
--
Sidst redigeret 06-10-2023 15:15
#25
MadsFerguson
Junior Nørd
06-10-2023 16:56

Rapporter til Admin
En observation der måske falder lidt udenfor spørgsmålet: Jeg oplever at når jeg laver ML, AI osv at 24GB GPU RAM langt fra altid er nok. Jeg er nød til at køre flere at de større jobs på RunPod (man kan fandeme få mange timer på RunPod for prisen på en 4090/sådan en maskine)
--
Systems Engineer, High Performance Computing.
#26
Jesper Gæst
Elite Supporter
06-10-2023 17:52

Rapporter til Admin
#25 Som jeg har forstået det, må deres data ikke komme uden for egen matrikel. (Det tillades kun med deres "fake" test data) Så det er vist ikke en option, som jeg har forstået det.
--
#27
Feldthusen
Ultrabruger
09-10-2023 13:25

Rapporter til Admin
#24 Begge CPU'er er noteret og bliver sendt til ledelsen og så bestemmer de hvor mange penge der må og skal bruges på vores lille hygge projekt :) #25 Data tåler ikke at ryge i RunPod, så det er desværre ikke en mulighed. #26 Helt korrekt. Dog får de studerende noget andet data fra deres universitet som er offentlig data som de må lege lige hvad de vil med til deres projekter. Tusind tak alle sammen for bidagre - Jeg har det info som vi har behov for til at indkøbe lidt hygge maskine :)
--

Opret svar til indlægget: PC til machine learning på jobbet

Grundet øget spam aktivitet fra gæstebrugere, er det desværre ikke længere muligt, at oprette svar som gæst.

Hvis du ønsker at deltage i debatten, skal du oprette en brugerprofil.

Opret bruger | Login
NYHEDSBREV
Afstemning