Pomagamy dobrać serwery, kontrolery, dyski i sieć pod konkretny klaster Proxmox: ZFS albo Ceph, nowy sprzęt Dell/HPE albo poleasingowy z gwarancją. Specyfikacja wynika z waszych obciążeń, nie z katalogu dostawcy.
Najlepiej zaprojektowany klaster Proxmox nie obroni się na złym sprzęcie. Kontroler RAID bez trybu IT ukryje dyski przed ZFS-em i odbierze mu kontrolę nad zapisami. Konsumenckie SSD bez kondensatorów podtrzymujących zasilanie potrafią zejść do kilkuset IOPS przy synchronicznych zapisach, które ZFS i Ceph wykonują ciągle. Efekt: środowisko, które w testach działało świetnie, po wejściu produkcji dławi się na I/O.
Odwrotna pułapka też kosztuje: przewymiarowany serwer z licencjonowaniem, którego nikt nie policzył pod kątem liczby socketów, albo storage klasy enterprise tam, gdzie wystarczył prosty mirror. Dlatego specyfikację sprzętu robimy po inwentaryzacji obciążeń, a nie przed nią. Sami utrzymujemy produkcyjnie 8 węzłów z ponad 4 TB RAM, na których działa hosting IQHost, więc dobieramy to, co sprawdziliśmy na własnej infrastrukturze.
Profil VM decyduje o wyborze procesora. Dużo małych maszyn (kontenery LXC, mikrousługi, serwery WWW) lepiej działa na wielu rdzeniach o umiarkowanym zegarze. Bazy danych i aplikacje jednowątkowe wolą mniej rdzeni, ale szybszych. Liczba socketów ma znaczenie także przy subskrypcjach Proxmox VE, które są rozliczane per socket, więc jeden mocny CPU bywa tańszy w utrzymaniu niż dwa słabsze. Więcej o tym w artykule o subskrypcjach Proxmox.
Zawsze ECC, bez dyskusji: przekłamania pamięci w hoście wirtualizacji uderzają we wszystkie VM naraz. Pojemność liczymy tak, żeby po awarii jednego węzła pozostałe udźwignęły całe obciążenie, czyli klaster nie może na co dzień pracować na 100% RAM. Przy Ceph doliczamy dodatkowo ok. 4-5 GB pamięci na każdy OSD, bo demony storage konkurują o RAM z maszynami wirtualnymi.
Pod ZFS i Ceph dyski muszą być widoczne bezpośrednio: kontroler HBA albo przełączony w tryb IT. Sprzętowy RAID pod ZFS to błąd architektoniczny, nie kwestia gustu: podwójne sumy kontrolne, ukryty cache kontrolera i brak dostępu ZFS-a do fizycznych dysków oznaczają, że mechanizmy samonaprawy przestają działać. Przy zamówieniu serwera pilnujemy właściwego kontrolera, bo dokładanie HBA po fakcie to dodatkowy koszt i przestój.
Do puli danych wyłącznie dyski enterprise z kondensatorami PLP (power loss protection). To one pozwalają bezpiecznie potwierdzać zapisy synchroniczne z pełną wydajnością; dyski konsumenckie albo kłamią o zapisie, albo dławią się przy fsync. System operacyjny Proxmoksa stawiamy na osobnym małym mirrorze, np. na module BOSS, żeby wymiana dysku systemowego nie dotykała puli z danymi VM.
Replikacja ZFS, migracja na żywo i ruch Ceph nie mieszczą się w 1G. Minimum to 2x 10G SFP+, a przy NVMe i Ceph rekomendujemy 25G, bo inaczej sieć staje się wąskim gardłem szybkiego storage. Interfejsy spinamy bondingiem do dwóch przełączników, żeby awaria switcha nie wywracała klastra. Corosync dostaje osobną, redundantną ścieżkę.
Dwa zasilacze hot-plug w każdym węźle, podpięte do dwóch niezależnych obwodów lub UPS-ów. Do tego szyny montażowe: serwer, który trzeba wyjmować z szafy na stole, wydłuża każdą interwencję serwisową. To drobiazgi, dopóki nie zdarzy się pierwsza awaria zasilania.
Kupujecie najnowsze generacje z pełną gwarancją producenta i wsparciem on-site. To naturalny wybór, gdy sprzęt ma pracować 5-7 lat, potrzebujecie najnowszych CPU i NVMe albo polityka firmy czy wymogi projektu (np. w JST) wykluczają sprzęt używany. Współpracujemy z partnerami Dell i HPE, więc konfiguracja trafia do wyceny już zweryfikowana pod Proxmox.
Serwery poleasingowe klasy data center kosztują zwykle 3-5x mniej niż nowe o porównywalnej mocy, a dobry dostawca daje gwarancję z wymianą podzespołów na następny dzień roboczy. Dla większości firm to sprzęt w pełni produkcyjny: te same platformy Dell i HPE, tylko o generację lub dwie starsze. Kluczowa jest weryfikacja konfiguracji, bo oferty poleasingowe często zawierają dyski i kontrolery nienadające się pod ZFS.
W obu modelach pomagamy złożyć konfigurację i zweryfikować oferty dostawców: sprawdzamy kontrolery, dyski, karty sieciowe i zgodność z planowaną architekturą, zanim podpiszecie zamówienie.
Typowe błędy, które widujemy w wycenach i działających środowiskach. Konsumenckie dyski SSD w pulach ZFS, które po kilku miesiącach duszą całe środowisko. RAID5 pod bazę danych zamiast mirrorów. Sieć 1G do replikacji między węzłami. Jeden zasilacz w serwerze produkcyjnym. RAM policzony pod normalną pracę, bez zapasu na failover, przez co HA istnieje tylko na papierze. Każdy z tych błędów wychodzi na jaw dopiero przy awarii albo pod pełnym obciążeniem.
Oba modele działają. Najczęściej przygotowujemy specyfikację i weryfikujemy oferty, a fakturę za sprzęt wystawia wam bezpośrednio dostawca: nowy Dell/HPE przez partnerów albo sprawdzony dostawca poleasingu. Możemy też poprowadzić cały zakup w waszym imieniu, łącznie z odbiorem i testami sprzętu przed instalacją Proxmoksa.
Dla większości firm nie. Serwery poleasingowe Dell i HPE to maszyny klasy data center, projektowane na lata ciągłej pracy, a dobry dostawca daje gwarancję z wymianą NBD. Ryzykiem nie jest wiek serwera, tylko złe komponenty: konsumenckie dyski, brak drugiego zasilacza, kontroler bez trybu IT. To weryfikujemy przed zakupem.
Zależy od wymagań dostępności. Minimum sensowne dla HA to 2 węzły plus QDevice do kworum, z replikacją ZFS. Jeśli chcecie storage rozproszony i automatyczne przełączanie bez utraty danych, celujcie w 3-4 węzły z Ceph. Do tego zawsze osobna maszyna na Proxmox Backup Server, poza klastrem. Konkretną liczbę wyliczamy z inwentaryzacji obciążeń.
Prześlijcie ofertę dostawcy albo opiszcie planowane obciążenia. Powiemy, co w konfiguracji trzeba zmienić, zanim wydacie pieniądze na sprzęt, który nie zagra z ZFS-em albo Ceph.
Umów rozmowę o doborze sprzętu