HP Microserver és Nexentastor

Bár anno vásároltam egy Lacie 5big Network 2 storage-t, mégis az idő teltével csak erősödött bennem az igény arra, hogy sajátot építsek. Ez most így is történt, ennek a történetét szeretném elmesélni.

Követelmények

A Lacie box tökéletes volt arra a célra amire vettem. Viszonylag gyors, nagy tárkapacitású, praktikus és szép. A negatívuma pontosan az előnyéből származik. Egy zárt rendszer, és a benne megtalálható funkciói limitáltak, és nem fejleszthetőek. Így amit tud, azt tud, és ennyi.

Mivel napról napra csak mélyebbre merülök a Solaris világában, ezért látom azt, mennyire rendszer integráltan lehet NAS szolgáltatásokkal felruházni egy hétköznapi operációs rendszert. Ezen túl eléggé lenyűgözött, ahogy az SSD-k fejlődnek, és az áruk is kezd elérhető közelségbe kerülni.

Így arra jutottam, építek magamnak egy a Lacie 5big Network 2-höz hasonló, méretű, fogyasztású gépet, amit kombinálok SSD-vel, és valamilyen ZFS kompatibilis OS-t fogok rá telepíteni.

Hardware

Bár nem vizsgáltam meg az elérhető összes szóba jöhető hardwaret, mégis viszonylag hamar rátaláltam a HP ProLiant MicroServer gépére.

Röviden:

– Dual-Core Processor
AMD Athlon II Processor Model NEO N36L (1.30 GHz, 15W, 2MB)
– 2 Memory Slot. Maximum 8GB.
– 2 PCI-e slot
– 4 internal 3,25″ SATA HDD bay
– 1 eSATA, 1 Optical (5.25″) SATA csatlakozás
– 1Gbit LAN
– 6 USB
– 150W táp

Hosszan:

A teljes hardware specifikáció elérhető itt.

Nagy szerencsémre pont akciósan árusították ki a gépeket, így viszonylag kedvezően hozzá tudtam jutni:

Természetesen a gép diszkek nélkül érkezett. Így azokról is gondoskodnom kellett. Én négy darab Seagate 2TB-os HDDt-t és egy OCZ 50GB SATA2 2,5″ Vertex 2 SSD-t vettem hozzá.

1 db OCZ 50GB SATA2 SSD 2,5″ Vertex 2 Series OCZSSD2-2VTX50G 25.913 Ft (20.730 Ft)
4 db SEAGATE 2000GB 5900rpm 64MB SATA2 ST2000DL003 75.250 Ft (60.200 Ft)

Ezen túl úgy döntöttem, hogy a Storage-t nem akarom az OS-el is terhelni, és tárhelyet veszteni, vagy a komplikációt növelni azzal, hogy az OS és az adat zpoolokat összemosom.

Így még beruháztam két darab San Disk Blade Cruzer 8GB pendrive-ba.

2 db San Disk Blade Cruzer 8GB 8.500 Ft

A végösszeg így tehát: 144.937 Ft.

Bios Hackelés

Bár nagyon nem szeretem, és nem is hiszek benne, de az igény sajnos engem is rávett arra, hogy egy nem teljesen hivatalos BIOS frissítéssel éljek. Ennek oka az, hogy az Optical Disk Sata csatlakozóját akartam használni az SSD csatlakoztatására. Az pedig az alap BIOS firmware által csak IDE sebességet támogatja mint az ODD mint az eSATA portokon. Ezen kell változtatnunk.

Én összeszedtem a megfelelő firmware készítőt és a kiegészítőt is. ITT letölthető egy ZIP-ben.

Ha letöltöttük csomagoljuk ki. Egy SP50582.exe és egy AHCI.zip állományt kell látnunk:

Először indítsuk el az SP50582.exe-t. Ez kifogja tömöríteni nekünk azt a környezetet, amivel majd bootolható pendrivet hozhatunk létre a firmware frissítéséhez.

Természetesen felülbírálhatjuk, hova hozza létre a szükséges állományokat, de az alapértelmezett hely is tökéletes lehet. A bejezést követően automatikusan felugrik egy weboldal.

Válasszuk ki a Launch HP USB key Setup Creator Utility opciót. A következő ablak fog bejönni.

Fontos, hogy legyen egy Pendrive a gépbe helyezve. A device legördülő menüből válasszuk ki a pendrive-ot, és nyomjunk a startra. Fontos, hogy minden adat a pendriven meg fog semmisülni, hisz a program létrehoz egy bootolható firmware update környezetet rajta.

Amennyiben kész van, a pendriven a következő állományokat kell látnunk:

Most az oldalról letöltött második ahci.ZIP file-t tömörítsük ki és annak tartalmát másoljuk rá a pendrive-ra. Ne ijedjünk meg ha felül fogunk írni állományokat.

Ezt az állapotot kell látnunk a pendriven:

Most már eltávolíthatjuk a pendrive-t, és a HP Microserver-hez csatlakoztathatjuk. Amennyiben nem ezen a firmware szinten van a gép, akkor lefog futni a firmware upgrade, majd újraindul automatikusan a gép. Ezek után, vagy ha azonos szinten lenne a gépünk BIOS-a, csupán egy DOS promptot fogunk kapni.

Írjuk be hogy:

c:

Majd hogy:

ahci.bat

Ez fogja a speciális Firmware-t is betölteni. Ezek után indítsuk megint újra a gépet, és F10-el lépjünk be a BIOS-ba.

Több helyen is változást fogunk tapasztalni. Többnyire azt, hogy az alap állítási lehetőségeket túl jóval több menü lesz elérhető.

Én most csak azt írnám le, hogy lehet az eSATA és ODD Sata portjait is AHCI mode-ra állítani. Ehhez menjünk a CHIPSET menübe. Ott pedig a SATA IDE Combined Mode-t állítsuk DISABLE-re.

Ezek után már nem volt problémám az SSD-vel az ODD portra csatlakoztatva sem.

Storage OS mint Nexentastor

Kipróbáltam a FreeNAS 8-as, illetve Openfiler legújabb verzióját is. Mégis mindkettővel voltak gondjaim. Vagy a felhasználó kezelése volt gyalázatos, és körülményes, vagy nem tudta azt a ZFS, cache, log struktúrát ami nekem kellett volna. Így választottam az OpenSolaris és egy UBUNTU környezet kombinációjából létrejövő Nexentastor OS-t.

Én most nem a Microserveremen végbement telepítést fogom bemutatni, hanem egy teszt VMWare gépen történt eseményeket. Értelemszerűen a folyamat ugyan ez volt. Ahol kell majd külön megjegyzéseket fogok tenni.

Beszerzédes

A Nexentastor egy fizetős OS. Nagy szerencsére, a fizetős pluginoktól mentes Community verzió viszont mindig elérhető ingyenesen is.

http://www.nexentastor.org/projects/site/wiki/CommunityEdition

A fenti oldalról töltsük le a megfelelő ISO-t, írjuk ki CD/DVD-re, vagy csináljunk belőlle USB boot image-t, vagy ha van valamilyen Remote Board (iLO) a gépünknek abba mountoljuk be.

Installálás

Egy nem túl szép, de legalább kék, Grub menü fogad minket.

Ahogy látszik egy SunOS 5.11-es, de speciális kernelű NexentaOS_134f rendszer töltődik be.

Olvassuk el, majd értsünk egyet a license feltételekkel.

Ez a képernyő bemutatja, hogy is kell az installer menüjét használni, milyen billentyű kombinációkkal mit értünk el.

Itt láthatjuk a rendszer számára elérhető diskeket. Ki kell választanunk a rendszer alapját képező syspool ZFS zpool milyen diskeken legyen. Szerencsére ha egynél többet választunk automatikusan tükrözi őket. Az én esetemben így néz ki:

root@jupiter:/volumes# rmformat
Looking for devices...
     1. Logical Node: /dev/rdsk/c1t0d0p0
        Physical Node: 
       /pci@0,0/pci103c,1609@12,2/storage@5/disk@0,0
        Connected Device: SanDisk  Cruzer Blade     1.00
        Device Type: Removable
        Bus: USB
        Size: 7.6 GB
        Label: 
        Access permissions: Medium is not write protected.
     2. Logical Node: /dev/rdsk/c2t0d0p0
        Physical Node: 
       /pci@0,0/pci103c,1609@13,2/storage@1/disk@0,0
        Connected Device: SanDisk  Cruzer Blade     1.00
        Device Type: Removable
        Bus: USB
        Size: 7.6 GB
        Label: 
        Access permissions: Medium is not write protected.

Ezekre kerül az OS maga. Ezek pedig a diskek, amik jelenleg érintetlenül maradnak.

AVAILABLE DISK SELECTIONS:
       0. c0t0d0 ata -ST2000DL003-9VT1-CC32-1.82TB
          /pci@0,0/pci103c,1609@11/disk@0,0
       1. c0t1d0 ata -ST2000DL003-9VT1-CC32-1.82TB
          /pci@0,0/pci103c,1609@11/disk@1,0
       2. c0t2d0 ata -ST2000DL003-9VT1-CC32-1.82TB
          /pci@0,0/pci103c,1609@11/disk@2,0
       3. c0t3d0 ata -ST2000DL003-9VT1-CC32-1.82TB
          /pci@0,0/pci103c,1609@11/disk@3,0
       4. c0t5d0 ata -OCZ-VERTEX2-1.33-46.59GB
          /pci@0,0/pci103c,1609@11/disk@5,0

Lehetőségünk van még SPARE diskeket definiálni, de én ezt nem teszek.

Figyelmeztetni fog minket a rendszer, hogy a root diskeknek kinevezett lemezekről az adat, már ha volt rajta, el fog veszni, és hogy particionálhatja-e automatikusan, vagy mi szeretnénk manuálisan.

Már kezdődik is a telepítés.

A sikeres telepítés után egy összegző képernyő fog megjelenni. Majd újraindul a rendszer a már telepített diskekről. Az én esetemben a pendrivekről.

Immár a kernel a diskről töltődik be.

Megint egyet kell érteni a license szerződéssel.

Most jön a regisztráció. Látogassuk meg a http://www.nexenta.com/resiter-eval oldalt, és regisztráljuk be a gépünket, a Machine Signature kóddal. Ehhez egy válasz Registration Key kulcsot fogunk kapni emailben. Amit be kell gépelnünk ide.

Feleletválasztósan konfiguráljuk be a hálózatot.

Válasszuk ki, hogy milyen porton, és milyen protokollal lesz elérhető a webes adminisztrációs felület.

Konfigurálás

Ezek után egy összegző képernyőt kapunk. Majd a bejelentkező loginját magának a rendszernek. Most menjünk egy kliens gépre, ahol indítsunk egy böngészőt, és az előző képen látható címet írjuk be. Ha minden renden lesz, a következőt kell látni:

Most egy webes felületen is végig kell mennünk, hogy beállítsuk a konkrét környezetünkhöz a Nexentastor-t. A kezdő képernyőn, hostnevet, domain-t, időzónát, időszervert, nyelvet, és billetyűzetkiosztást kell beállítanunk.

A következő képernyőn, meg kell adnunk a root, mint Unix admin felhasználó, és admin, mint Nexenta admin jelszavát. A root-ot főleg parancssoros környezetbe, míg az admint a webes környezetben fogjuk használni.

Definiálhatjuk a levelezés paramétereit. Ezt hasznos beállítani, mert a Nexentastor nagyon informatívan és jól reportál levélben.

Egy összefoglaló képernyőn ellenőrizhetjük eddigi beállításainkat, majd elmenthetjük.

Ezek után a Nexentastor admin felülete fog minket várni, használatra készen.

Nexentastor használata

A Nexentastor hihetetlen sok lehetőséggel, és bővíthetőséggel rendelkezik. Nem kívánom mindent bemutatni, csupán egy gyors és átfogó bevezetőt, hogy kedvet csináljak hozzá.

Zpool létrehozása

Ahhoz, hogy elkészítsük az _ADAT_ poolunkat menjünk a fenti menüben a Data Management -> Dataset menübe.

A dataset alatt készíthetjük el igazából a Zpoolokat. Egyik oldalról a másikba kell áthúzogatnunk diskeket, és megadni, hogy mi legyen belőlük.

Viszonylag egyszerű. Ezek után lent meg kell adnunk a pool nevét, és néhány választható beállítást.

Sajnos a GUI nem akarja lekezelni azt, hogy a Zpool nem csak teljes diskeket tud lekezelni, hanem Sliceket.

Mivel nekem csupán egy SSD-m van, ezért én azt tettem, hogy felvágtam három részre.

Ehhez be kellett SSH-znom a gépre rootként. Majd speciális expert mode-ba lépni. Ez lesz egy tényleges root shell a rendszerhez.

$ option expert_mode=1 -s
$ !bash

A következő 3 Slicet hoztam létre az SSD-n a format parancs segítségével.

Current partition table (original):
Total disk sectors available: 97679950 + 16384 (reserved sectors)

Part    Tag  Flag    First Sector      Size      Last Sector
  0      usr    wm             256      2.00GB       4194559
  1      usr    wm         4194560     22.00GB       50331903
  2      usr    wm        50331904     22.58GB       97679949

A 2GB-os SSD részt odaadom cache-nek a Pendrive mirrornak, hogy egy kicsit javítsam a performanciáját.

Az egyik 22GB-os részt (L2ARC) cacheként az _ADAT_ a zpoolnak, a másikat 22GB-os részt (ZIL) log-ként szintén az _ADAT_ zpoolnak.

Íme:

# zpool status
  pool: jupiter-pool
 state: ONLINE
 scan: none requested
config:

        NAME        STATE     READ WRITE CKSUM
        jupiter-pool  ONLINE       0     0     0
          raidz1-0  ONLINE       0     0     0
            c0t0d0  ONLINE       0     0     0
            c0t1d0  ONLINE       0     0     0
            c0t2d0  ONLINE       0     0     0
            c0t3d0  ONLINE       0     0     0
        logs
          c0t5d0s1  ONLINE       0     0     0
        cache
          c0t5d0s2  ONLINE       0     0     0

errors: No known data errors

  pool: syspool
 state: ONLINE
 scan: resilvered 2.32G in 0h30m with 0 errors
config:

        NAME          STATE     READ WRITE CKSUM
        syspool       ONLINE       0     0     0
          mirror-0    ONLINE       0     0     0
            c1t0d0s0  ONLINE       0     0     0
            c2t0d0p0  ONLINE       0     0     0
        cache
          c0t5d0s0    ONLINE       0     0     0

errors: No known data errors

Természetesen ez csak a Pool. Ezekből kell Dataseteket, vagy Volumeket kiszelni. A Nexenta a ZFS dataseteket Folder-nek hívja. Hasonlókép mint Solaris alatt a Folderekket tudjuk megosztani.

Amint elérhető egy folder, onnantól egyszerű klikkeléssel megosztható bizonyos protokollokkal.

Az User management támogatja az LDAP authentikációt, és Active Directory integrációt is. Active Direstory esetén viszont Identity Managementet kell használni. Ez is persze elérhető a Webes Guin keresztül és a Windows és Unix userek közötti kapcsolat megteremtésére hivatott:

iSCSI target

A ZFS sajátossága miatt könnyedén készíthetünk iSCSI targetet és hozzá LUN-okat. Menjünk a Data Management -> SCSI Target menübe.

Adjunk hozzá egy új Zvol-t (ZFS virtual block device).

Töltsük ki szépen a Zvolra vonatkozó információkat.

Ezek után egy kattintással meg tudjuk osztani iSCSI targeten a LUN-t. Természetesen ugyan itt a bal menüben lehetőségünk van TGP illetve CHAP korlátozások definiálására, illetve több target létrehozására is.

Runners

A Nexentában megjelennek az úgynevezett RUNNER-ek. Ezek valamilyen státusz ellenörző, report generáló, hiba ellenörző scriptek, amiket időzíteni lehet.

Hasznos lehet, ugyanis bármilyen nem várt esetre automatikusan riaszthatnak minket levélben.

Analytics

A Nexentastor kihasználja az OpenSolaris adta Dtrace lehetőségeket. Rengeteg Dtrace mérési pont figyelése állítható be, amelyekből Analytics Profile hozható létre. Ezekben valós időben, grafikus, diagrammos kiértékeléseket láthatunk a rendszerünk állapotáról.

Live Upgrade azaz Nexenta Checkpoints

Ha valaki ismeri a Solarisban bevezetett Live Upgrade technológiát annak ez ismerős lesz. Ugyanis minden frissítés előtt automatikusan létrejön egy ZFS snapshot a syspool-ról, Azaz bármikor vissza tudunk állni a régebbi stabil állapotra. Ez frissítésnél, vagy komolyabb beállítások előtt jól jöhet. Ezt is tudjuk a webes menüből vezérelni.

Pluginek

A Nexentastor tetszőlegesen bővíthető pluginekkel. Alapból is elérhető néhány a webes felületen, és tetszőlegesen tölthetünk is le.

Sebesség teszt

Most viszont térjünk rá a számokra. Ugyanis már csak arra kíváncsi mindenki. A Nexenta stornak hála olyan benchmark programok, mint a Bonnie++, vagy iozone elérhető pluginből.

Íme egy iozone eredmény a fenti rendszerrel:

$ run benchmark iozone-benchmark 
Volume 'jupiter-pool' is the only available volume, starting
jupiter-pool: running optimal mode benchmark
jupiter-pool: generating 1982MB files, using 32 blocks
        Iozone: Performance Test of File I/O
                Version $Revision: 3.308 $
                Compiled for 32 bit mode.
                Build: Solaris10gcc 

      Run began: Fri May  6 23:28:45 2011

   Include fsync in write timing
   Include close in write timing
   Record Size 32 KB
   File size set to 2029568 KB
   Command line used: 
   iozone -ec -r 32 -s 1982m -l 2 -i 0 -i 1 -i 8
   Output is in Kbytes/sec
   Time Resolution = 0.000001 seconds.
   Processor cache size set to 1024 Kbytes.
   Processor cache line size set to 32 bytes.
   File stride size set to 17 * record size.
   Min process = 2 
   Max process = 2 
   Throughput test with 2 processes
   Each process writes a 2029568 Kbyte file in 32 Kbyte records

Children see throughput for  2 initial writers  =  129099.96 KB/s
Parent sees throughput for  2 initial writers   =  118349.24 KB/s
Min throughput per process                      =   61371.08 KB/s 
Max throughput per process                      =   67728.88 KB/s
Avg throughput per process                      =   64549.98 KB/s
Min xfer                                        = 1838592.00 KB

Children see throughput for  2 rewriters        =   33249.26 KB/s
Parent sees throughput for  2 rewriters         =   33193.61 KB/s
Min throughput per process                      =   16543.71 KB/s 
Max throughput per process                      =   16705.54 KB/s
Avg throughput per process                      =   16624.63 KB/s
Min xfer                                        = 2016512.00 KB

Children see throughput for  2 readers          =  269228.47 KB/s
Parent sees throughput for  2 readers           =  269002.33 KB/s
Min throughput per process                      =  134134.31 KB/s 
Max throughput per process                      =  135094.16 KB/s
Avg throughput per process                      =  134614.23 KB/s
Min xfer                                        = 2015360.00 KB

Children see throughput for 2 re-readers        =  286669.41 KB/s
Parent sees throughput for 2 re-readers         =  286501.53 KB/s
Min throughput per process                      =  142485.81 KB/s
Max throughput per process                      =  144183.59 KB/s
Avg throughput per process                      =  143334.70 KB/s
Min xfer                                        = 2006912.00 KB

Children see throughput for 2 mixed workload    =   18496.08 KB/s
Parent sees throughput for 2 mixed workload     =    9020.23 KB/s
Min throughput per process                      =    6090.22 KB/s
Max throughput per process                      =   12405.86 KB/s
Avg throughput per process                      =    9248.04 KB/s
Min xfer                                        = 1001184.00 KB

Összegzés

~145.000 Ft-os beruházás árán sikerült létrehoznom, egy kicsi, de hatékony, illetve elég rugalmas rendszert. Az SSD-nek hála a storage hihetetlen I/O sebességgel illetve random írási és olvasási sebességgel bír, és redundánsan 5.1TB adat tárolására alkalmas.

Nézzük meg a piacon ennyi pénzért mit kaphatunk.

Általában 4x1TB-os NAS-ok, illetve 2x1TB-os NAS-okat lehet ennyiért kapni, SSD nélkül. Tehát az én általam összeállított gép elég piacképes így is. Remélem másnak is kedvet hoztam a próbálgatáshoz.