Betingelsesløst gå efter en AMD Ryzen. Intel ahr intet der er i nærheden hvad angår ren, raw power.
Snup en 5950X eller hvad den nu hedder, og så 128GB RAM med høj performance, og 2 stk. 4 TB NVME SSDer du kan sætte i RAID0 direkte på bundkortet.
Til compute så køb 2 x 3080, det er mest performance for pengene til dit budget. :)
--
The Great (X79), The New (X99) and The Mighty (X58)! MBPr 15" 2018! iPad Pro 12.9 2018 LTE! iPhone Xs Max 64GB!
AMD Ryzen 9 5950X river den der intel du har fundet midt over. Endda med en pæn margin.
--
The Great (X79), The New (X99) and The Mighty (X58)! MBPr 15" 2018! iPad Pro 12.9 2018 LTE! iPhone Xs Max 64GB!
Lidt input.
I9 og 128GB lyder fornuftigt. Hvis du bruger en AMD cpu og numpy risikerer du at ramme ind i at det kører langsommere end på en Intel pga. de MKL optimeringer Intel har lavet. Du kan selvfølgelig eksperimentere med OpenBLAS eller noget Blis. Eller bare sætte MKL_DEBUG_CPU_TYPE=5 som en enviromnent variable, så MKL tror at du kører intel.
Ift. at det er billeder du arbejder med så bruger du nok en del gpu memory og der er 3080 desværre begrænset til de 10GB. Jeg har selv et håb om at kunne få en 20GB udgave af 3080 inden så længe, men alternativt ville jeg overveje 3090 med de 24GB.
Jeg har også en naiv drøm om at ROCM snart bliver godt nok til at de nye AMD GPU'er kan bruges effektivt til deep learning.
Bare mine 2 cents..
--
Du skal også se på noget rigtig god køling til den CPU, kunne være noget i stil af en x73 kraken?
Gfx lige nu rtx 3090 men dyrt, som #4 så skulle der komme et 3080 20gb men hvem ved hvornår man med sikkerhed kan få fingrene i det
--
#0
Kan du beskrive mere om værktøjerne i kommer til at benytte jer af, da det afhænger af om intel vs ryzen. På papiret er ryzen bedre, men som #4 er inde på kan det faktisk være nogle gange at Intel er hurtigere.
--
Ved træning af dine modeller vil du typisk være begrænset af din GPU-memory pr GPU. Jeg ville personligt anbefale at gå efter RTX3090 i stedet, og evt nøjes med ét frem for to.. du vil tit løbe ind i at du må arbejde med "for" små billedopløsninger eller en batch-size der begrænser din træning - for ikke at overstige den memory der er på et RTX3080. Hvis du slipper for momsen koster et RTX3090 jo kun ca 10000 kr. Det afhænger selvfølgeligt af om dine billeder kun er "256x256" eller om de er større (som de jo typisk er)
--
Gæstebruger, opret dit eget login og få din egen signatur. virker mærkeligt at folk recommender så gode CPU'er til deep learning hvor mere eller mindre det meste eller det hele kommer til at køre på GPU'en. Du behøver ikke den bedste CPU på markedet.
en 3090 ville nok være god på grund af de 24 GB vram, hvilket plejer at være det problem man løber ind i med deep learning. Men det vil helt sikkert være fortrukket at få en dedikeret deep learning GPU som har meget bedre float32 calculation performance.
--
Gæstebruger, opret dit eget login og få din egen signatur. Endte med at bestille
5950x
3090
128gb ddr4
8 tb SSD(2*4tb)
20 tb HDD(2*10tb)
Så nu må vi se hvornår de kan levere.
--
#9 Det 3090 kommer til at sparke røv til opgaven set på privat brug.
Hvad med køling?
--
#10
Har ikke købt køling endnu men overvejer noctura.
Det skal faktisk bruges til erhvervs opgave.
Hvordan tror du det vil performe med endnu et 3090?.
--
#11 Hvilke ram, med lav profil?
Hvad med noget som en x73 kraken?
Skal ikke kunne sige hvad mere det vil give med et kort ekstra for sidst jeg så op på det var det med et 1øgtx 1080 ti men tænker du er godt stillet med et enkelt 3090
--
#11 To styk 3090 skulle gerne scale godt i deep learning, og du vil kunne bruge alle 48 GB VRAM.
Jeg da klart anbefale Noctua's flagship model til Threadripper.
https://www.pricerunner.dk[...]
--
Lækkert setup #9!
Valget af 3090 må jeg også erklære mig enig med resten i. Jeg glemte i farten at der ikke kan kombineres RAM på de "normale" NVIDIA GPUer.
De 24GB bliver du satme glad!
Fandt du 2 x 4TB NVME? De vil skale sindsygt i RAID0.
--
The Great (X79), The New (X99) and The Mighty (X58)! MBPr 15" 2018! iPad Pro 12.9 2018 LTE! iPhone Xs Max 64GB!
Når du har erfaring med hvor flaskehalsen er så meld gerne tilbage. Altid frisk på at lære noget nyt.
Som de andre er inde på vil belastningen typiske falde til enten CPU eller GPU afhængigt af den kode der bruges. Har ikke direkte erfaring med TensorFlow, men ved at GPU generelt performer massivt bedre en CPU.
Du nævner ikke noget om opløsningen/størrelsen på filerne. Personligt tror jeg at det er tråde/kerner/compute cores eller hvad de nu hedder i GPU land der er vigtigt, kan ikke helt se hvor de store mængde af ram kommer til sin ret.
Som jeg læser det har 3090 328 tensor cores, jeg antager at det kan overføres nogenlunde til et trådbegreb. det vil sige at du næppe kommer til at bruge meget mere end 328*filstørrelse (udpakket måske) + 50-100% overhead. Derfra kan jeg altså ikke helt lure hvorfor rammen skal hjælpe. Den meget ram er dejlig i spil fordi den kan holde de forskellige grafik elementer i memory.
Her skal filen loades op i memory, og tensor flowet skal køre den analyse på det du har valgt/kodet.
Det resultere i en stribe matematiske resultater som i denne sammenhænge ikke fylder mere end formentligt 10% af billedstørrelsen.
Så maks antal tensor cores, så hurtig disk som du kan skrabe sammen. dertil kommer at cpu nok gerne må have en pænt stor mængde cores(evt ht), så den kan drive de mange tensorflows. Tror ikke hver kerne behøver være lynend, ville hellere have flere kerner.
Og du er så meget nød til at dele lidt af dine erfaringer når du engang er kommet igang med projektet. Og tillykke med projektet, for det lyder virkeligt spændende.
--
Kom til at grave lidt i tensor flows, og er du gal det er nogle dyre kort der dukker op.
Ligner at "bedste" kort er nvidia a100 som har 628 tensor cores, men koster så omkring 75.000 kr ....
AWS udlejer disse kort (ved godt du har bestilt og er på vej), det er mere en observation at det måske kunne have fået dig nemmere og hurtigere i mål. Hvis det altså er en one off. Skal det gøres gentagne gange evt med nyt materiale etc så giver det nok bedre mening at købe grejet.
--
#15
Ram kommer helt an på hvordan læring og model er sat sammen.
Er selv igang med et deep learning projekt hvor vi bruger PyTorch og en tesla v100 32gb til at køre det hele på.
Den ene model vi træner bruger 29gb af de 32gb ledige ram da vi bliver nød til at gemme en stor del af dataen i et hurtigt tilgængeligt memory under læring. (vi gemmer 1 million 84*84 grayscale billeder i memory)
En anden model vi arbejder på bruger nærmest intet da vi ikke har behov for at gemme store mængder af data eller har batch sizes.
Så alt efter metoden de bruger til læring, deres batch sizes og billedstørrelse + kvalitet, så kan de have behov for meget eller lidt Ram. Men det ville være foretrukket ikke hele tiden af skulle smide tingene frem og tilbage mellem CPU og GPU og bruge kræfter på det så jo mere man kan have på GPU jo bedre.
--
Lidt update på buildet :)
Svært at få fat på et 3090 så har midlertidig købt 2 x Tesla k80 med 24gb ram.
Så må de 2 STK 3090 komme senere.
--