Jeg er ved at have skudt tom for ideer, i forbindelse med fejlfinding på en af vores servere, og vil derfor spørge ind til gode råd fra HoL panelet! Jeg har et domæne, hvori der indgår flere fysiske servere, men én server driller mig og har gjort det længe. Fik endelig tiden til at dykke ned i problemet og starte en fejlsøgning, da serveren igennem længere tid har kørt "langsom" og følt sluggish, når man arbejdede på de virtuelle instanser. Den specifikke model er en ældre en af slagsen: HPE Proliant DL360 Gen 9, som er opsat i RAID 6. Har andre lignende modeller, som kører med de samme virtuelle instanser, næsten en-til-en, grundet produktions behovet, de kører perfekt. Nå, startede med at se status fra iLo'en, alt grønt og meldte ingen fejl. Fik opdateret bios til den nyeste og kørt nyeste SSP på, stadig ingen forbedringer. Sad så og sammenlignede data fra Perfmon fra de servere der drillede vs andre identiske, som kørte som de burde, og der slog det mig, at på de servere som kørte ok, lå Disk Queue Length på 0,05 til 0,16 under brug, men den langsomme server fra ~10,0 og helt op til 50-70,0. Efter dette blev konstateret, har jeg bl.a prøvet at skifte raid controller + smart batteri, hjælp ikke. Prøvede siden hen at skifte diske over i en anden, fungerende server, stadig uden succes, omend den kører bedre end før. Ingen visuelle lamper blinker med fejl på disk bay's, iLO melder grøn hele vejen på diskene og raid'et fremstår sundt og uden fejl. Så... Hvad har i af gode råd og ting jeg evt. kan afprøve? Sidste option jeg har, er at skifte alle diske efter der er taget backup, opbygge raid'et på ny og kører serveren op fra bunden, ville bare se om der var andre muligheder før dette prøves. Håber der sidder er par erfarne personer, som kan byde ind med lidt råd og vejledning. :) Mange hilsner!
--

Sidst redigeret 14-10-2022 10:05

#1
Klump
Supporter Aspirant
14-10-2022 10:22

Rapporter til Admin

Har du tjekket at raid controllerens cache indstillinger er slået til? evt hvis muligt prøv at lån SAS Kablerne som går fra controller til backplane for at se om det kunne være et kabel som laver ballade.
--

#2
Triplecity
Gigabruger
14-10-2022 10:26

Rapporter til Admin

Hej Klump. Takker for indsparket, kablerne er blevet skiftet da jeg skiftede raid controlleren. Men! Har ikke kontrolleret om cache er slået til, tester lige og vender tilbage. :D Edit: Bliver så først lige lidt senere, mange af de virtuelle servere er ved at installere 2022-10 Cum opdatering. :P
--

Sidst redigeret 14-10-2022 10:29

#3
MadsFerguson
Nørd Aspirant
14-10-2022 10:37

Rapporter til Admin

Har du nogle kæmpe blok størrelser på de partitioner som gør at den skal arbejde meget for små ops?
--
Systems Engineer, High Performance Computing.

#4
Nextnx
Juniorbruger
14-10-2022 10:37

Rapporter til Admin

Nu ved vi ikke noget hvilken form for Io der kører i de instanser, så derfor kunne RAID og File block size måske også være en faktor.
--

Sidst redigeret 14-10-2022 10:41

#5
Stroyer
Guru
14-10-2022 10:42

Rapporter til Admin

0# Jeg har tidligere oplevet problemet på vmare esxi 6.7u2 +u3 og her var problemet ift. driver til storage controlleren - Fik lagt en anden driver på og problemet forsvandt som dug for solen. Det skal så lige siges at systemet ikke lå på vmares HCL hvorfor der måtte nørkles lidt. Men problemet var også udfordringen med Queue Length som lå helt i hegnet.
--
IDGAF!

#6
Triplecity
Gigabruger
14-10-2022 11:03

Rapporter til Admin

3# Serveren er en næsten identisk kopi af andre servere, dvs. de har de samme virtuelle servere, som igen holder samme data. Kun denne éne, forsager mig en hovedpine. De andre jeg har sammenlignet med, har en yderst fornuftig queue length under load. 4# Alle serverne er ens, kører med 512 bytes per sector + 512 bytes per physical sector, og har ens raid opsætning + ens diske. 5# Vi kører med WIN2019 på hosts, og på disse Hyper-V til at hoste de virtuelle instanser. Kontrollerede lige driverne på vores raid controllere, de kører alle med samme version. Tak for indsparket til jer alle, forventer at de virtuelle servere er færdige med opdateringer efter frokost, hvorpå de skal kontrolleres om hvorvidt raid controllerens cache indstillinger er slået til. :)
--

#7
Triplecity
Gigabruger
14-10-2022 11:43

Rapporter til Admin

1# Er nu kontrolleret, cache var slået til, så desværre heller ikke der den lå. På trods af at alle diske melder grøn, og jeg ingen steder kan se nogle tegn på de skulle være årsagen til mine kvaler, kunne det tænkes at det var der problemet lå, siden problemet følger med når diskene skiftes til nyt jern? Overvejer at skifte én disk af gangen, og vente på den er færdig med at genopbygge, se om det afhjælp fejlen og hvis ikke, skifte næste disk indtil alle disks er blevet udskiftet. Kunne det være næste approach?
--

#8
Klump
Supporter Aspirant
14-10-2022 11:48

Rapporter til Admin

Hmm. Prøv at gå ind i HP Insight via ILO også tjek hver enkelt disk derinde. Har faktisk lige haft et tilfælde af hvor en disk i en af vores DL380 Gen9 stod som failed (og disken lyste orange). Da HPE kom dagen efter og skulle skifte disk, var alt "i orden" og disken lyste grøn. ILO stod alt også OK til, men i selve HP Insight kunne vi se at disken ikke havde det så godt og vi valgte at skifte den alligevel.
--