- Offizieller Beitrag
Moin Moin,
ich bin immer noch am rätseln, ob die performance (disk) von meinem Hyper-V Cluster normal langsam ist oder ob ich da was verkonfiguriert habe.
Hintergrund ich habe einen Storageserver (ISCSI) und 3 Hyper-V Clusternodes im Failoverbetrieb. D.h. alle haben auf C:\ClusterStorage einen gemeinsamen Bereich für die Virtuellen Maschinen.
Funktional ist alles in Ordnung nur kommt mir die Diskperformance immer noch recht schlecht vor.
Direct auf dem Fileserver (ist ein SSD PCIe drive mit 2TB NTFS) auf dem die VMs ghostet sind. Eine klare Aussage ob die besser reFS formatiert sein sollten, konnte ich bisher nicht finden, mal so mal so...
Results for timespan 1:
*******************************************************************************
actual test time: 300.00s
Total IO
thread | bytes | I/Os | MiB/s | I/O per s | AvgLat | LatStdDev | file
-----------------------------------------------------------------------------------------------------
0 | 71090880512 | 8678086 | 225.99 | 28926.90 | 0.276 | 0.749 | V:\Test.dat (16GiB)
1 | 71685316608 | 8750649 | 227.88 | 29168.78 | 0.274 | 0.743 | V:\Test.dat (16GiB)
2 | 70657966080 | 8625240 | 224.62 | 28750.75 | 0.278 | 0.784 | V:\Test.dat (16GiB)
3 | 71647772672 | 8746066 | 227.76 | 29153.50 | 0.274 | 0.748 | V:\Test.dat (16GiB)
-----------------------------------------------------------------------------------------------------
total: 285081935872 | 34800041 | 906.25 | 115999.94 | 0.275 | 0.756
Alles anzeigen
Via SMB Zugriff:
Results for timespan 1:
*******************************************************************************
actual test time: 300.01s
Total IO
thread | bytes | I/Os | MiB/s | I/O per s | AvgLat | LatStdDev | file
-----------------------------------------------------------------------------------------------------
0 | 39854759936 | 4865083 | 126.69 | 16216.26 | 0.493 | 0.925 | \\Data-One\V-Speed\Test.dat (16GiB)
1 | 25852674048 | 3155844 | 82.18 | 10519.03 | 0.759 | 1.169 | \\Data-One\V-Speed\Test.dat (16GiB)
2 | 34142871552 | 4167831 | 108.53 | 13892.18 | 0.575 | 1.034 | \\Data-One\V-Speed\Test.dat (16GiB)
3 | 40271552512 | 4915961 | 128.01 | 16385.84 | 0.488 | 1.348 | \\Data-One\V-Speed\Test.dat (16GiB)
-----------------------------------------------------------------------------------------------------
total: 140121858048 | 17104719 | 445.42 | 57013.31 | 0.560 | 1.135
Alles anzeigen
aber via CSVFS auf dem gleichen drive (oben via direct und SMB
Results for timespan 1:
*******************************************************************************
actual test time: 300.00s
Total IO
thread | bytes | I/Os | MiB/s | I/O per s | AvgLat | LatStdDev | file
-----------------------------------------------------------------------------------------------------
0 | 1130921984 | 138052 | 3.60 | 460.17 | 17.382 | 11.837 | C:\ClusterStorage\Volume1\Test.dat (16GiB)
1 | 1184645120 | 144610 | 3.77 | 482.03 | 16.594 | 11.387 | C:\ClusterStorage\Volume1\Test.dat (16GiB)
2 | 1185128448 | 144669 | 3.77 | 482.22 | 16.587 | 11.414 | C:\ClusterStorage\Volume1\Test.dat (16GiB)
3 | 1185005568 | 144654 | 3.77 | 482.17 | 16.589 | 11.407 | C:\ClusterStorage\Volume1\Test.dat (16GiB)
-----------------------------------------------------------------------------------------------------
total 4685701120 | 571985 | 14.90 | 1906.59 | 16.781 | 11.514
Alles anzeigen
Wahnsinnig hohe latenzzeiten (16ms CSVFS contra 0.6 SMB contra 0.3ms direct) und Transferraten von 15 zu 445 zu 906 direct.
ISCSI das Problem? oder NTFS als CSVFS "host"? Werde wohl mal als nächstes eine VHDX ohne CSVFS testen - aber wenn jemand eine spontane Idee hat wie man so ein "Problem" angeht oder was für Performance bei CSVFS überhaupt erreichbar ist - her damit.
ISCSI performance - auf den selben Testrechnern und selben disks. Also eine ISCSI disk auf e: gemounted mit NTFS als FS.
Results for timespan 1:
*******************************************************************************
actual test time: 300.00s
Total IO
thread | bytes | I/Os | MiB/s | I/O per s | AvgLat | LatStdDev | file
-----------------------------------------------------------------------------------------------------
0 | 6679068672 | 815316 | 21.23 | 2717.70 | 2.944 | 2.650 | E:\Test.dat (16GiB)
1 | 6669705216 | 814173 | 21.20 | 2713.89 | 2.948 | 2.642 | E:\Test.dat (16GiB)
2 | 6691028992 | 816776 | 21.27 | 2722.57 | 2.938 | 2.684 | E:\Test.dat (16GiB)
3 | 6606970880 | 806515 | 21.00 | 2688.36 | 2.976 | 2.646 | E:\Test.dat (16GiB)
-----------------------------------------------------------------------------------------------------
total: 26646773760 | 3252780 | 84.71 | 10842.52 | 2.951 | 2.656
Alles anzeigen
OK also ISCSIist schon mal deutlich langsamer als SMB aber immer noch faktoren schneller als CSVFS über ISCSI. Geht da wirklich nochmals Faktor 5-10 verloren?
Andererseits hätte ich ISCSI ähnlich erwartet wie SMB - man merkt ich habe da echt noch keine Erfahrung Und nein MPIO habe ich nocht nicht konfiguriert.
Man findet ja nicht so viele einfach zu vergleichende Werte (zumindest ich nicht) aber einen habe ich zumidnest:
Also 701/0.2 direct und 371/0.4 ISCSI also ca. Faktor 2, das ist ja schon mal 5 mal besser al mein Faktor 10. D.h. ich werde wohl als erstes mal nach ISCSI performance schauen. Wobei der Vergleich etwas hinkt da Starwind verwendet und ich ja auch noch eine VHDX dazwischen habe... Trotzdem kommt mit x10 zu hoch vor oder?
Nachtrag - mal MPIO installiert und auf dem Testclient enabled.
Results for timespan 1:
*******************************************************************************
actual test time: 300.01s
Total IO
thread | bytes | I/Os | MiB/s | I/O per s | AvgLat | LatStdDev | file
-----------------------------------------------------------------------------------------------------
0 | 16833249280 | 2054840 | 53.51 | 6849.15 | 1.168 | 1.489 | E:\Test.dat (16GiB)
1 | 15243165696 | 1860738 | 48.45 | 6202.17 | 1.290 | 1.578 | E:\Test.dat (16GiB)
2 | 17166614528 | 2095534 | 54.57 | 6984.79 | 1.145 | 1.492 | E:\Test.dat (16GiB)
3 | 16962994176 | 2070678 | 53.92 | 6901.94 | 1.159 | 1.521 | E:\Test.dat (16GiB)
-----------------------------------------------------------------------------------------------------
total: 66206023680 | 8081790 | 210.45 | 26938.06 | 1.188 | 1.520
Alles anzeigen
Performance mehr als verdoppelt - Zufall (hatte wegen der Konfig ja auch den Server neustarten müssen)? Ich werde es mal später in der Woche nochmals testen. Verdoppelung scheint mir sinnvoll, da jetzt ein zweiter 10G Switch mit genutzt werden "könnte".
------------------
Paar seitenfacts: SMB Direct mode an? - ja es ist. Jumbo Frames ja sin auf 9014 ping -f geht bis nahe an 9k ohne fragmentation.
Ping /Jumbo: 5.62 ist der Fileserver:
PS C:\Program Files\DiskSpd\amd64> ping -f -l 8972 192.168.5.62
Pinging 192.168.5.62 with 8972 bytes of data:
Reply from 192.168.5.62: bytes=8972 time<1ms TTL=128
Reply from 192.168.5.62: bytes=8972 time<1ms TTL=128
Ja nicht ganz 9000 8972 ist max was mit den Hyper-V Nics einstellbar ist.
Directmode:
PS C:\Program Files\DiskSpd\amd64> Get-ClusterSharedVolumeState
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : Storage5
Node : Data-Two
StateInfo : Direct
VolumeFriendlyName : Volume5
VolumeName : \\?\Volume{cb2749de-6e63-4d93-905c-2e03e5339b91}\
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : Storage5
Node : HyperV-Two
StateInfo : Direct
VolumeFriendlyName : Volume5
VolumeName : \\?\Volume{cb2749de-6e63-4d93-905c-2e03e5339b91}\
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : Storage5
Node : HyperV-One
StateInfo : Direct
VolumeFriendlyName : Volume5
VolumeName : \\?\Volume{cb2749de-6e63-4d93-905c-2e03e5339b91}\
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : StorageO
Node : Data-Two
StateInfo : Direct
VolumeFriendlyName : Volume1
VolumeName : \\?\Volume{69ad8644-c4da-4ca1-8faa-7bbfc64c5c72}\
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : StorageO
Node : HyperV-Two
StateInfo : Direct
VolumeFriendlyName : Volume1
VolumeName : \\?\Volume{69ad8644-c4da-4ca1-8faa-7bbfc64c5c72}\
BlockRedirectedIOReason : NotBlockRedirected
FileSystemRedirectedIOReason : NotFileSystemRedirected
Name : StorageO
Node : HyperV-One
StateInfo : Direct
VolumeFriendlyName : Volume1
VolumeName : \\?\Volume{69ad8644-c4da-4ca1-8faa-7bbfc64c5c72}\
Alles anzeigen