Hej HOL! OPDATERET 8. AUGUST 2023, KLOKKEN 00.00 Jeg har simpelten, uden at vide det, mere eller mindre lavet et identisk setup med Linus Tech Tips seneste, bare med ældre hardware, vores YouTube talent, skal liiiiige vækste lidt endnu før vi rammer 10mio+ subs! SOFTWARE: - Proxmox til VM - TrueNAS til Storage - Windows 10 til VMs - Windows Server 20xx til management VMs - unRaid til test HARDWARE: - 1 x Dell R730xd (16 x 3.5") - 1 x Dell R720xd (24 x SFF) - 3 x Dell R720 - 1 x Dell VRTX med 4 x M620 + 25 x 250GB SSD storage pool - 1 x Dell M1000e med 8 x M620 + Dell EquaLogic med 24 x 250GB SSD + NESTOR GPU Enclosure med 4 x RTX 3060Ti NETVÆRK: - 1 x CISCO 48 port 10Gbe switch (SFP+) - 1 x CISCO 48 port 1Gbe POE switch (RJ45) - 1 x Netgear 8 port 10Gbe switch (SFP+ + RJ45) - 1 x TP-LINK 8 port 2.5Gbe switch (RJ45) OPSÆTNINGEN SO FAR Lord Ceasar (Active Project NAS) Dell R720xd (2 x E5-2670v2 + 256GB DDR3-1866 + 20 x 7,68TB SAS SSD(?)) ...eller det var planen. Lortet laver fejl på IDRAC.. Den er vi ved at fejlsøge! Og er vi heldige så får vi måske smidt en 20 x 7,68TB SSD i (en mulig, kommende tak til freak_master) Denne fine sag skal bruges til vores 12 klippere, når de skal tilgå aktive projekter, og det må gerne gå tjept. Bevares, de logger ikke ind på den her server, men de kan finde alt dataen, og det med hastigheder på 10Gbe+! Vores 4K DCI live produktioner skal også gerne ende herinde, helst. Så der kommer en del trafik igenne, og mon ikke der skal kobles op med 2 x 10Gbe til den her? Hvad tænker I? Den her server er jeg, som nævnt i indledningen, i gang med at sætte op, den driller, og jeg mangler stadig SSDer til den også! Grinngots (Archive NAS) Dell R730x (1 x 2670v3 + 192GB DDR4-2133 + 16 x 6TB SAS HDD + 2 x 200 SATA SSD) ... som virker rigtig fint! Den her bandit er sat op! Og den virker! Vi kører ZFS med TrueNAS her, for det virker rigtig fint, og jeg har lavet en stor pool, hvor hele 2 diske kan dø, før der sker noget. Det tænker jeg er nok. For alt skal jo smides i skyen anyways! So far har jeg opsat en test VM på en R720er, og kan konstatere at jeg kan kopiere data med op til 280 MB/s, eller 2.2 GBe, så det er da en start. Det der mangler her, er nogle JBODs. For jeg løber meget, meget hurtigt tør for plads, og har en satans masse diske, der keder sig! 13 x 10GB + 4.x 14TB, som bare ligger! Det duer ikke! Vi forsøger at skaffe noget sponsoraftale med WD eller Seagate til projektet, da vi er affilieret med noget populærkultur, hvor det kan give mening. Planen kunne være et Supermicro JBOD med 96 22TB diske. Vi bruger ca. 5-10TB/uge i peak. Professor Dumbledore Dell VRTX med 4 x Dell M620 med 2 x E5-2650v2 + 256GB DDR3-1866 RAM + 25 x 240GB SSD) Den her har vi liiiidt bøvl med. For det første fordi vi skal have den sdiste blade til at virke. Den har deffekt mezz card, og vi ved faktisk ikke hvilktet vi skal købe og sætte i... Kan nogen her hjælpe med et ebay link? Næste problem er faktisk at der er tale om nogle blades, der kommer til at skulle lave ret meget, så vi er liiiiidt kede af CPUerne og det faktum at der køres med DDR3 RAM. Udfordirngen er dog hvor stor gevinsten er mellem en 8 kernet 2667v2 på 3,4 GHz (planlagt upgrade) og en 8 kernet 2667v4 med 3.2 GHz når det ene har kostet gratis og det andet koster en del mere + bøvl. Vi monterer 4 x RTX A2000 eller RTX 3060Ti i disse. her mangler jeg så 4 x Dell PCIe power, og dem kan jeg so far kun finde til 180 kr/stk. hos Kimbrer, eller eBay med evig leveringstid... Formålet med den kære professor her, er at agere VM for vores klippere, men jeg ved ikke om jeg løber tør for power med kun 64 kerner til 12 VMs? Overvejer en 10 kernet 2670v2, det giver mig 80 kerner i alt. RAM, der tænker jeg 1TB er fint til 12 mand. GPU mæssigt, bør der også være nok, men sprøgsmålet er om jeg får lov at dele og sprede workload ud på GeForce kort? Så Linus Tech Tips havde et hack? Måske nogle herinde kan hjælpe mig? Lord Voldemord Dell M1000e med 8 x M620 med 2 x E5-2650v1 + 192 GB DDR3-1600 RAM Her skal vi have opgraderet Mørkets Fyrste. Tænker man smider 2 x E5-2697v2 i dem alle og maxer ud med 768GB DDR3-1866 RAM/enhed, så vi rammer 192 kerner og 6.144GB RAM. Jeg har en NESTOR GPU Enslosure jeg kan smække til, men her er jeg begrænset af båndbredde. Det hedder maks 4 x PCIe 2.0 x8 eller 4 x PCIe 3.0 x4. Båndbredden er samlet 128GBe eller 16 GB/s, latså 1 x PCIe 3.0 x16. Det betyduer effektivt maks 2 x PCIe 3.0 x8, hvis ikke jeg skal give op på ydelse... Eller findes der kort som kan klare sig med 4 x PCIE 3.0 x4 og stadig give mening? MORE TO COME! DET OPRINDELIG SKRIV STARTER HER! Nå! Jeg har været herinde i mange år, og lært meget og delt meget! Fra min fanboytid med min gamle Athlon64 x2, som jeg mente kunne alt, til nu, hvor jeg forsøger at hjælpe le BOFH med at holde den gode tone herinde! Nu er tiden kommet til et af mine største IT projekter til dato! Jeg skal opsætte et stort netværk med tilhørende servere til mit nye start-up! Allerede nu har jeg fået hjælp af flere gæve HOL brugere med både donationer og adgang til billige serverstumper! Af hjertet tak til jer alle! Der vil blive skiftet fra Sandy/Ivy til Broadwell over hele linjen, løbende, mere så folk ikke får tics af alderen på udstyret, men mit startup har ikke råd til en 200.000 kr. server. Det hele er lidt ala det setup som Linus Tech Tips i sin tid har brugt, og tildels stadig bruger og så alligevel ikke. Herunder kommer der en masse data til jer! Jeg søger råd, dåd og inputs fra jer alle! Hvad laver vi: - Vi producerer 12 videoer til YouTube hver måned - Vi producerer 5-8 live shows om ugen på to lokationer - Vi producerer 1-2 TV formater om måneden - Vi producerer 2-4 podcasts om ugen - Vi producerer 2-4 kampagne videoer om måneden - Vi producerer 1-2 reklamefilm hver måned - Vi producerer 3-6 "short format" videoer til SoMe om ugen - Dertil planlægning, udvikling, tilrettelæggelse, etc. Hvad vil vi gerne kunne? - Lagre og arbejde med data til aktuelle projekter, hurtigt, både ON-LOK og OFF-LOK - Lagre vores data til færdige projekter, langvarigt med backup i skyen - Alle vores 12-14 post produktionsmedarbejdere skal kunne tilgå VMs remote og on-site og arbejde med proejkter i Adobe Premiere Pro, Final Cut, Unreal, Blender samt After Effects. - Vores tilrettelæggere og producerer skal kunne tilgå VMs i de tilfælde opgaven kræver det, for let redigering eller des lige - Vi skal have en VM til at kunne uploade content til YouTube. Det er mere avanceret end det lyder. - Vi skal bruge en VM til håndtere data samt backup - Vi skal bruge en "overordnet" VM til IT administratoren - Vi vil gerne have vores to lokationer koblet sammen. (København K og Hvidovre) - Vi skal bruge mindst to VMs til vores DIT afdelng, hvor der køres fra to lokationer - Vi skal bruge en renderserver til Unreal, Blender, After Effects Hvad har vi af udstyr: - 6 x Dell R720 med 384GB DDR3-1866 + 2 x E5-2697v2 - 4 x Dell R720G1 med 0-384 DDR3-1600/1866 + 2 x E5-2670v2+ (nogle er defekte) - 1 x Dell R730xd med 192GB DDR4-2133 + 1 x E5-2660v3 + 16 x 6TB HDD - 1 x Dell VRTX med 4 x M620 med hver især 2 x E5-2650v2 + 256GB DDR3-1866 - 1 x Dell M1000e med 8 x M620 med hver især 2 x E5-2650v1 + 192GB DDR3-1600 - 1 x Dell EquaLogic PS4210 med 24 SFF 2.5" slots - 1 x Netstor NA255A PCIe Expansion Enclosure med 128GBps båndbredde og 4 x x8 PCIe 3.0 slots - 1 x CISCO 48-port SFP+ 10Gbe switch - 1 x Netgear 8-port SFP+ + RJ45 10Gbe switch - 1 x Ubiquity Dream Machine Pro SFP+ 10Gbe router (CITY LOK) - 1 x Netgear "Gaming" routher 1Gbe router (HVIDOVRE LOK) Løst udstyr: - 20+ x SFP+ 10Gbe kabler - 20+ x RJ45 10Gbe kabler - 4 x 14TB SATA HDD - 5 x 10TB SATA HDD - 8 x 10TB SATA HDD - 120 x 256GB/240GB SATA 6GBps SSDs at fordele på det hele - 1 x AMD Radeon RX VEGA64 - 3 x NVIDIA GTX780 - 1 x AMD Radeon RX570 4GB Hvad er status / mine tanker lige nu: For det første så vil jeg gerne køre noget populærkultur navngivning, da vi laver setup for en gaming TV kanal og et filmproduktionsselskab og et PR bureau. Så so far kører jeg Harry Potter tema, because, why not! Som en god start kører vi lige en kort gennemgang af netværk, det er ikke så super kompliceret igen, vi går i detaljer længere nede! VI har to lokationer som skal op at køre og fandme ikke om der kommer en 3. i USA i Q4, som skal kobles op på "Danmark". Lokation 1 i København K Dette er vores server lokation, hvor serverrum befinder sig og hvor alt skal samles. Herinde har vi to etager, hvor øverste etage bruges til post-produktion, og den nederste til vores PR bureau og de ansatte. Netværk: 1 x 5Gbe WAN til den store verden 1 x 10Gbe til loft der fordeles ud i 8 x 2.5Gbe (CAT7) 1 x 10Gbe til udstyrsrum, hvor vores DIT holder til (CAT7) 6 x 1Gbe til øvrige rum, hvor der blot bruges hotspots (CAT5e) 10GBe mellem alle servere Post-produktion: 2 x Mac Studio M1 Max til redigering 1 x Mac Pro 6.1 til colorgrade Pre-produktion MacBook Air 15" og diverse andre, som skal opsættes med Persec til VM på server. Storage: "Grinngots" (Storage server 1 x Dell R730xd opsat med TrueNas og sine 16 x 6TB diske, hvorfra jeg har delt SMB shares på netværket, og lavet en stor pool med ZFS. 2 diske bruges som spare. Dertil 1 x Dell EquaLogic opsat med 24 x 256GB SSD, til korttidslagring og aktive projekter. Denne er jeg i gang med at opsætte og den skal tilsluttes 730eren! Til de resterende diske, kan jeg udvide mit "pool" med 4 diske ad gangen, og tænker at buge en Dell MD1200 JBOD til formålet, selvom jeg godt kunne tænke mig noget laaaangt større. VMs Her skal jeg bruge små 20 VMs i alt, nogle mere "buff" end andre. Planen er at indkøbe en stak RTX2070 eller Quadro RTX A2000 til formålet, som monteres direkte i serveren. Server til editor VMs bliver VRTX, hvortil jeg monterer 4 x A2000 eller M4000 i, hvad end jeg kan skaffe. Så kan jeg dele regnekraften på tværs af de 12 editorer, og da Premiere Pro er CPU bound, vil jeg swappe 2650erne ud med 2697erne, så der er nok power til redigeringen. Som software bruges Persec, der er gratis i form af en licens per server, dog med en købelicens til color grade der er 4:4:4, som Persec understøtter. De resterende 8 VMs skal være til YouTube upload, Dropbox Backup, DIT, datahåndtering samt en til admin og et par stykker til tilrettelæggerne og vores producere. Renderfarm Her tænkte jeg at bruge M1000e, opgradere til E5-2687Wv2 eller 2667v2, og så smække Nestor til her med 4 x RTX 4060Ti/svarende Quadro, som umiddelbart er maks ift. båndbredden der tilbydes. Lokation 2 i Hvidovre Her har vi fire klienter, som er fysike maskiner, der alle kun skal kunne logge på Persec og det er det. De er koblet op med vores server. Hertil vil der være en DIT VM til når data skal sikres. Udover de fire klienter er der to "TV servere", da det er en TV station, som er herude. De får data fra en lokal NAS, som bruges til sendefladen. Det er ikke en smart løsning og den skal løses. Udover de ovenstående maskiner, er der en enkelt "live" maskine til når der produceres live, den sender ud til WAN, og backup gemmes på NAS. Her skal vi have fjernet NAS, migreret den til LOK 1, og så mappet nye netværksdrev herude. VPN Nu til det der driller mig mest. Jeg skal have koblet vores to lokationer sammen på ét stort netværk. Der er en Dream Machine Pro på LOK 1, som har en VPN opsat via L2P og Teleport. Den virker fint hvorend jeg er, men er dog lidt sløv i det... Dream Machine er opsat med DHCP på 192.168.180.xxx og har så IP adresser derfra. De to netværk her skal kobles sammen. Jeg har overvejet at sætte en ny Dream Machine Pro op på LOK2 og så lave en site-site VPN, men er det noget som virker og som folk har gode erfaringer med? Umiddelbart må subnet vel ikke være det samme ? Eller skal det være det samme? Sammenfatning Hold kæft et skriv det blev til, jeg mangler sikkert 1000 ting, men det er så derfor jeg håber at nogle herinde har input. Der er ting jeg ikke kan og må gå i detaljer med, da sikkerhed er vigtigt, men det er omfattende, og jeg søger råd og dåd. Jeg bruger i øvrigt Proxmox til VMs, det er sgu smart! ESXI kunne ikke nok i sin gratis version, desværre. Nå ja, vi løber nok snart tør for plads. Vi laver ca. 2-5TB data/uge, så det går rigtig stærkt. Der kommer kun flere produktioner til som tiden skrider frem, især ehr til efteråret. ?FOR AT SPARE JERES SCROLLHJUL KAN I LÆSE EN OPDATERING / STATUS ØVERST I DENNE POST! :) God aften! //Kvist
--

En af "gamle" herinde. Holder til på Vesterbro i København. Tidligere LN2 overclocker. Ved alt om Apple, og er den uofficielle hardware guru.

--

Sidst redigeret 08-08-2023 01:02