Úložné systémy základnej úrovne. Úložné systémy Rozdiely od HP MSA2040

  • Séria Dell EMC Storage SC – automatizované riešenia s modernou infraštruktúrou, vybudované pomocou hybridných diskov, ako aj high-tech polí Flash.
  • Séria Dell EMC Equallogic PS je optimálnym zariadením pre podnikové informačné prostredie, ktoré zabezpečuje efektívnu implementáciu každodenných informačných úloh.
  • Dell POWERVAULT MD Series sú škálovateľné, nízkonákladové systémy, ktoré podporujú veľkú konsolidáciu údajov a zjednodušenú správu údajov.
  • Séria EMC VNXE – jednotné úložné riešenia na riešenie informačných problémov typických pre malé podniky.

Úložný priestor na základnej úrovni

Základné úložné systémy Dell EMC poskytujú vysokovýkonné platformy pre malé podniky, ako aj veľké podniky s rozsiahlou pobočkovou infraštruktúrou. Výbava tejto triedy sa vyznačuje širokými možnosťami škálovania, vďaka čomu môžete využiť potenciál 6 až 150 diskov, čím získate maximálnu kapacitu dátového úložiska 450 TB. Úložné systémy Dell EMC sú optimálne vhodné pre podniky s rozvinutou infraštruktúrou fyzických serverových systémov, ako aj pre tých, ktorí praktizujú používanie virtualizovaných serverových systémov. Praktické využitie úložiska Dell EMC vám umožní konsolidovať veľké objemy informácií, ako aj zvýšiť efektivitu ich spracovania. Pomocou týchto zariadení bude možné nasadiť multifunkčné úložné systémy založené na IP sieťach, ktoré podporujú súborové a blokové prístupové protokoly, NAS a iSCSI, resp.

Úložný systém strednej úrovne

Stredné úložné systémy Dell EMC sú platformy s bohatými funkciami, ktoré umožňujú konsolidáciu blokového úložiska, systémov súborových serverov a priamo pripojeného úložiska. Využitie tohto vybavenia poskytne firmám príležitosť dynamicky rozširovať súborové systémy a blokovať zdroje s paralelnou podporou viacerých protokolov – NFS a CIFS. Okrem toho môžu úložné systémy poskytovať prístup k informáciám pomocou protokolov ako Fibre Channel, iSCSI a FCoE. Pomôže to podporovať aplikácie založené na blokoch, ktoré vyžadujú veľkú šírku pásma a nízku latenciu.

Kraftway predstavuje nový produkt v segmente hardvérovo orientovaných klastrových úložných systémov: dôveryhodné systémy na ukladanie dát PROGRESS, ktoré sú založené na radičoch s integrovanými nástrojmi informačnej bezpečnosti a ruských softvérových produktoch na správu diskových polí. Charakteristické vlastnosti dôveryhodnej úložnej platformy Kraftway:

  • vstavané funkcie informačnej bezpečnosti integrované do radičov (obvody dosky, BIOS a firmvérový kód BMC);
  • softvér na správu úložného systému zahrnutý v registri Ministerstva komunikácií Ruskej federácie. Softvér vyrábajú Radix, NPO Baum a Aerodisk.

Dôveryhodné úložné systémy sú určené pre zákazníkov, ktorí majú špeciálne požiadavky na bezpečnosť svojich IT systémov. Úložné systémy PROGRESS obsahujú modely s 1,2,4 a 8 (*) ovládačmi, ktoré pracujú v režime Active-Active a zabezpečujú vysokú odolnosť úložného systému voči poruchám. K ovládačom systému sú pripojené police expanzných diskov rôznych štandardných veľkostí, ktoré poskytujú úložnú kapacitu až niekoľko desiatok PB. Maximálna kapacita úložného systému s 2 ovládačmi je 16 PB. Hostiteľské rozhrania úložiska: iSCSI od 1 do 100 Gb/s, FC od 2 do 32 Gb/s, Infiniband až 100 Gb/s (*).

(*) Špecifikácie sa môžu líšiť pre každého výrobcu softvéru.



  • D. Kontrola prístupu


    Priložený súbor

  • Dôveryhodné skladovacie systémy Kraftway PROGRESS

    Opýtať sa otázku
  • Dôveryhodné skladovacie systémy Kraftway PROGRESS

  • Dôveryhodné skladovacie systémy Kraftway PROGRESS

    Možnosti softvéru na správu úložiska Kraftway PROGRESS

  • Dôveryhodné skladovacie systémy Kraftway PROGRESS

    Hlavné scenáre využitia VSZ

    A. Zabezpečenie, aby k riadiacemu systému úložiska mali prístup iba oprávnené osoby

    Na načítanie operačného systému radiča je potrebná dvojfaktorová autentifikácia. Po zapnutí napájania VSZ zastaví proces načítania. Pre pokračovanie v sťahovaní musí mať autorizovaný používateľ identifikačné zariadenie (smart karta, USB kľúč) a heslo.
    VSZ má možnosť rozlišovať práva na správu nastavení zabezpečenia v závislosti od roly používateľa. Bežný používateľ napríklad nemusí mať práva na zadávanie a zmenu nastavení systému UEFI BIOS.

    B. Monitorovanie integrity konfigurácie hardvéru

    Po pripojení napájania VSZ vykoná samotestovanie, vypočíta kontrolné súčty a porovná ich s referenčnými. V prípade úspechu sa integrita zariadenia monitoruje porovnaním kontrolných súčtov a signalizáciou pri zistení zmien. V prípade narušenia integrity bude môcť VSŽ spravovať iba používateľ s právami Administrátora.

    B. Monitorovanie integrity súborového systému

    Administrátor VSŽ môže povoliť kontrolu integrity kritických súborov na zmeny. V tomto prípade, keď zapnete produkt pred načítaním operačného systému, vypočítajú sa kontrolné súčty súborov pridaných do kontrolného zoznamu. V prípade narušenia integrity bude môcť integráciu VSŽ spravovať iba používateľ s právami správcu

    D. Antivírusová kontrola pred spustením operačného systému

    Vyhľadávanie malvéru vo fáze UEFI pred načítaním operačného systému vám umožňuje neutralizovať hrozby, ktoré je mimoriadne ťažké odhaliť po spustení operačného systému, takzvané „rootkity“ a „bootkity“. Dokážu upraviť boot sektory systému, ako aj skryť stopy po prítomnosti útočníka alebo malvéru v systéme. Vyhľadávanie sa vykonáva pomocou špecializovaného modulu „Kaspersky Anti-Virus for UEFI“. Ak je detekovaný škodlivý kód, skener pozastaví zavádzanie OS a identifikuje infikovaný objekt.

    D. Kontrola prístupu na hardvérové ​​prostriedky pomocou „tenkého hypervízora“. Hypervízor je súčasťou UEFI a softvérovým nástrojom na obmedzenie prístupu k hardvérovým zdrojom výpočtového zariadenia.
    Hypervízor pracuje v režime virtualizácie všetkých vstupno/výstupných zariadení fyzicky prítomných na základnej doske, ako aj vstupno/výstupných portov a kanálov priameho prístupu do pamäte. Hypervízor poskytuje kontrolu prístupu k externým médiám vrátane zákazu ich používania, ako aj centralizované účtovanie pripojených vymeniteľných médií.

    Možnosti softvéru na správu úložiska

    Priložený súbor obsahuje popis a možnosti softvéru na správu diskových polí od každého výrobcu: Radix, NPO Baum a Aerodisk.

  • Séria Infortrend ESDS 1000

    Preskúmanie Infortrend ESDS 1000

    Úložné systémy EonStor DS 1000 poskytujú výborný pomer cena/výkon. Pre malých a stredných užívateľov...

    Úložný systém Infortrend ESDS série 1000

    Infortrend ESDS 1000 Series – cenovo dostupné úložisko so vstavaným iSCSI a voliteľným rozhraním FC/SAS pre vyšší výkon a škálovateľnosť.

    Preskúmanie Infortrend ESDS 1000

    Úložné systémy EonStor DS 1000 poskytujú vynikajúci pomer cena/výkon. Pre používateľov malých a stredných podnikov (SMB) je poskytnuté riešenie základnej úrovne. Modely sú dostupné pre rôzne počty HDD diskov v rôznych formách: 12-slotový 2U, 16-slotový 3U a 24-slotový 2U pod 2,5" pohonov. Všetky obsahujú viacero 1Gbps iSCSI portov pre sieťové pripojenie, architektúru navrhnutú s ohľadom na aplikácie video sledovania, ktoré potrebujú rýchle pripojenie k viacerým klientom. K rozširujúcim krytom je možné pripojiť až 444 pohonov. Vďaka podpore 10TB disku to znamená, že dostupná kapacita môže dosiahnuť až 4PB.

    Zloženie seriálu EonStor DS 1000

    Modely pre 2,5" HDD

    DS 1024B - 2U, 24 2,5" diskov s rozhraním SAS alebo SATA

    DS 1036B - 3U, 36 2,5" diskov s rozhraním SAS alebo SATA

    Modely pre 3,5" HDD

    DS 1012 - 2U, 12 3,5" diskov s rozhraním SAS alebo SATA

    DS 1016 - 3U, 16 3,5" diskov s rozhraním SAS alebo SATA

    DS 1024 - 4U, 24 riadiť 3,5"s rozhraním SAS alebo SATA

    Výkon

    • EonStor DS 1000 Poskytuje až 550 000 IOPS (operácie s vyrovnávacou pamäťou) a 120 000 IOPS (celá cesta vrátane diskov), aby sa urýchlili všetky operácie súvisiace s ukladaním.
    • Priepustnosť dosahuje 5 500 MB/s pri čítaní a 1 900 MB/s. nahrávať, čo vám umožní jednoducho zvládať aj intenzívne pracovné zaťaženie s vysokou účinnosťou.

    Práca s vyrovnávacou pamäťou SSD

    (voliteľné, licenciu je potrebné zakúpiť)

    • Vylepšený výkon pri čítaní horúcich údajov
    • Až štyri SSD na jeden radič
    • Veľká kapacita úložiska SSD: až 3,2 TB

    Ryža. 1 Zvýšenie počtu IOPS, keď je vyrovnávacia pamäť SSD nasýtená horúcimi dátami

    Kombinované možnosti hostiteľského rozhrania

    • Všetky systémy sú vybavené štyrmi 1Gbps iSCSI portami, ktoré poskytujú viac než dostatočnú konektivitu pre klientov, servery a ďalšie úložné polia.
    • Voliteľne pridané modul hostiteľské rozhranie s 8 Gbit/s alebo 16 Gbit/s Fibre Channel, 10 Gbit/s iSCSI alebo 40 Gbit/s iSCSI, 10 Gbit/s FCoE alebo 12 Gbit/s SAS, aby fungovalo paralelne s predvoleným 1 iSCSI portom Gbit/ s.
    • Voliteľne pridané do konvergovaná hostiteľská karta so 4 možnosťami pripojenia na výber (16Gbps FC, 8Gbps FC a 10Gbps iSCSI SFP+, 10Gbps FCoE)

    Rôzne možnosti ukladania do vyrovnávacej pamäte

    Doživotné, bezúdržbové, bez výmenné superkondenzátory a flash modul poskytujú bezpečný a spoľahlivý zdroj energie na udržanie stavu vyrovnávacej pamäte v prípade poškodenia hlavného zdroja napájania

    Záložná jednotka batérie (BBU) s flash modulom vymeniteľná za chodu ukladá údaje, ak sa systém náhle vypne alebo dôjde k výpadku napájania.

    Môžeš si vybrať BBU alebo superkondenzátory podľa vašich potrieb a rozpočtu

    Voliteľne dostupné a zahrnuté pokročilé funkcie:

    Lokálna replikácia Lokálna replikácia

    (Štandardná licencia je štandardne zahrnutá a rozšírená licencia je voliteľná)

    Snímky

    Štandardná licencia Predĺžená licencia
    Snímky na zdrojový zväzok 64 256
    Snímky v systéme 128 4096

    Volume Copy/Mirror

    Štandardná licencia Predĺžená licencia
    Zdrojové objemy v systéme 16 32
    Replikácia sa spáruje so zdrojovým zväzkom 4 8
    Replikačné páry na systém 64 256

    Jemné ladenie (v predvolenom nastavení povolené)

    Prideľovanie kapacity just-in-time optimalizuje využitie úložiska a eliminuje pridelený, ale nevyužitý úložný priestor.

    Vzdialená replikácia (dodatočná licencia)

    Replikácia na zväzok: 16
    Replikačné páry na zdrojový zväzok: 4
    Dávky replikácie na systém: 64

    Automatizovaný viacúrovňový systém ukladania dát (dodatočná licencia)

    Dve alebo štyri vrstvy úložiska podľa typu jednotky

    podpora SSD

    Automatická migrácia dát s možnosťami plánovania

    SSD cache (dodatočná licencia)

    Urýchlite prístup k údajom v prostrediach náročných na čítanie, ako je OLTP

    Podporuje až 4 SSD na jeden radič

    Odporúčaná kapacita DIMM na radič pre vyrovnávaciu pamäť SSD:

    DRAM: 2 GB Max. Veľkosť vyrovnávacej pamäte SSD: 150 GB

    DRAM: 4 GB Max. Veľkosť vyrovnávacej pamäte SSD: 400 GB

    DRAM: 8 GB Max. Veľkosť vyrovnávacej pamäte SSD: 800 GB

    DRAM: 16 GB Max. Veľkosť vyrovnávacej pamäte SSD: 1 600 GB

    Nezodpovedá parametrami úložnému systému Infortrend série DS 1000? Zvážte uloženie inej série alebo radu, prejdite do časti:

    Hrdinom tejto recenzie bude skromný úložný systém DotHill 4824 Určite mnohí z vás počuli, že DotHill ako OEM partner vyrába základné úložné systémy pre Hewlett-Packard – veľmi populárny HP MSA (Modular Storage Array). už vo svojej štvrtej generácii. Rad DotHill 4004 zodpovedá modelu HP MSA2040 s malými rozdielmi, ktoré budú podrobne uvedené nižšie.

    DotHill je klasický úložný systém základnej úrovne. Form factor, 2U, dve možnosti pre rôzne jednotky a so širokou škálou hostiteľských rozhraní. Zrkadlená vyrovnávacia pamäť, dva radiče, asymetrické aktívne-aktívne s ALUA. Minulý rok pribudla nová funkcionalita: diskové oblasti s trojúrovňovým vrstvením (vrstvené ukladanie dát) a SSD cache.

    Charakteristika

    • Formát: 2U 24x 2,5" alebo 12x 3,5"
    • Rozhrania (na radič): 4524C/4534C - 4x SAS3 SFF-8644, 4824C/4834C - 4x FC 8Gbit/s / 4x FC 16Gbit/s / 4x iSCSI 10Gbit/s SFP+ (v závislosti od použitých transceiverov)
    • Škálovanie: 192 2,5" jednotiek alebo 96 3,5" jednotiek, podporuje až 7 ďalších políc na disky
    • Podpora RAID: 0, 1, 3, 5, 6, 10, 50
    • Vyrovnávacia pamäť (na ovládač): 4 GB s ochranou flash
    • Funkčnosť: snímky, klonovanie zväzku, asynchrónna replikácia (okrem SAS), tenké poskytovanie, vyrovnávacia pamäť SSD, 3-úrovňové vrstvenie (SSD, 10/15k HDD, 7,2k HDD)
    • Limity konfigurácie: 32 polí (vDisk), až 256 zväzkov na pole, 1024 zväzkov na systém
    • Správa: CLI, webové rozhranie, podpora SMI-S

    Diskové oblasti v DotHill

    Pre tých, ktorí nie sú oboznámení s teóriou, stojí za to hovoriť o princípoch fungovania diskových oblastí a vrstveného úložiska. Presnejšie o konkrétnu implementáciu v úložnom systéme DotHill.

    Pred príchodom bazénov sme mali dve obmedzenia:

    • Maximálna veľkosť skupiny diskov. RAID-10, 5 a 6 môžu mať maximálne 16 jednotiek. RAID-50 - až 32 diskov. Ak potrebujete zväzok s veľkým počtom vretien (kvôli výkonu a/alebo kapacite), museli ste skombinovať LUN na strane hostiteľa.
    • Neoptimálne využitie rýchlych diskov. Môžete vytvoriť veľké množstvo skupín diskov pre niekoľko profilov zaťaženia, ale s veľkým počtom hostiteľov a služieb na nich je ťažké neustále monitorovať výkon, objem a pravidelne vykonávať zmeny.

    Disková oblasť v úložnom systéme DotHill je kolekcia niekoľkých skupín diskov s rozložením zaťaženia medzi nimi. Z hľadiska výkonu môžete pool považovať za RAID-0 niekoľkých podpolí, t.j. Problém krátkych diskových skupín už riešime. Celkovo sú v úložnom systéme podporované iba dve diskové oblasti, A a B, jedna na každý radič môže mať až 16 skupín diskov. Hlavným architektonickým rozdielom je maximálne využitie voľného umiestnenia pruhov na diskoch. Na tejto funkcii je založených niekoľko technológií a funkcií:

    Rozdiely od HP MSA2040

    Výkon

    Konfigurácia úložiska
    • DotHill 4824 (2U, 24x2,5")
    • Verzia firmvéru: GL200R007 (najnovšia v čase testovania)
    • Aktivovaná licencia RealTier 2.0
    • Dva radiče s CNC portami (FC/10GbE), 4 8Gbit FC transceivery (inštalované v prvom radiči)
    • 20x 146GB 15k rpm SAS HDD (Seagate ST9146852SS)
    • 4x 400GB SSD (HGST HUSML4040ASS600)

    Konfigurácia hostiteľa

    • Platforma Supermicro 1027R-WC1R
    • 2x Intel Xeon E5-2620v2
    • 8x 8GB DDR3 1600MHz ECC RDIMM
    • 480GB SSD Kingston E50
    • 2x Qlogic QLE2562 (2-port 8Gbit FC HBA)
    • CentOS 7, fio 2.1.14
    Pripojenie sa uskutočnilo cez jeden radič, priame, cez 4 8Gbit FC porty. Prirodzene, mapovanie zväzkov na hostiteľa bolo cez 4 porty a na hostiteľovi bolo nakonfigurované multipath.

    Pool s vrstvou 1 a vyrovnávacou pamäťou na SSD

    Tento test je trojhodinové (180 cyklov po 60 sekúnd) zaťaženie s náhodným prístupom v 8KiB blokoch (8 vlákien s hĺbkou frontu 16 každého) s rôznymi pomermi čítania/zápisu. Celá záťaž je sústredená v oblasti 0-20 GB, čo je zaručene menej ako objem výkonnostnej vrstvy alebo vyrovnávacej pamäte na SSD (800 GB) - to sa robí s cieľom rýchleho naplnenia vyrovnávacej pamäte alebo vrstvy na prijateľnú úroveň. čas.

    Pred každým testovacím spustením bol zväzok vytvorený nanovo (na vymazanie SSD vrstvy alebo vyrovnávacej pamäte SSD), naplnený náhodnými údajmi (sekvenčný zápis v 1MiB blokoch), čítanie dopredu bolo vypnuté na zväzku, priemerná a maximálna latencia hodnoty boli stanovené počas každého 60-minútového druhého cyklu.

    Testy so 100% čítaním a 65/35 čítaním+zápisom sa vykonali s vrstvou SSD (do fondu bola pridaná skupina diskov 4x400 GB SSD v RAID-10), ako aj s SSD cache (2x400 GB SSD v RAID-0 , úložisko neumožňuje pridať viac ako dva SSD do vyrovnávacej pamäte pre každý fond).

    IOPS

    Výsledky boli celkom predvídateľné. Ako tvrdí predajca, výhodou vyrovnávacej pamäte SSD oproti vrstve SSD je, že vyrovnávacia pamäť sa zapĺňa rýchlejšie, t. j. úložný systém rýchlejšie reaguje na výskyt „horúcich“ oblastí s intenzívnym zaťažením pri náhodnom prístupe: IOPS sa zvyšuje o 100 % čítanie spolu s poklesom latencie rýchlejšie ako v prípade použitia tier"ingu.

    Táto výhoda končí, akonáhle sa pridá významná zapisovacia záťaž. RAID-60, mierne povedané, nie je príliš vhodný na náhodné písanie v malých blokoch, ale táto konfigurácia bola zvolená špeciálne preto, aby ukázala podstatu problému: úložný systém si nevie poradiť so zápisom, pretože obchádza vyrovnávaciu pamäť na pomalom RAID-60, front sa rýchlo upcháva a na obsluhu požiadaviek na čítanie zostáva málo času, aj keď sa vezme do úvahy ukladanie do vyrovnávacej pamäte. Niektoré bloky sa tam stále dostanú, ale rýchlo sa stanú neplatnými, pretože prebieha nahrávanie. Tento začarovaný kruh spôsobuje, že vyrovnávacia pamäť určená len na čítanie sa pri tomto zaťažovacom profile stane neúčinnou. Presne rovnakú situáciu bolo možné pozorovať pri skorých verziách SSD cache (pred príchodom Write-Back) v PCI-E RAID radičoch od LSI a Adaptec. Riešenie - použiť spočiatku produktívnejší objem, t.j. RAID-10 namiesto 5/6/50/60 a/alebo vrstvy SSD namiesto vyrovnávacej pamäte.

    Priemerná latencia


    Maximálne oneskorenie

    Tento graf používa logaritmickú stupnicu. V prípade 100% a pri použití vyrovnávacej pamäte SSD môžete vidieť stabilnejšiu hodnotu latencie - po naplnení vyrovnávacej pamäte neprekračujú špičkové hodnoty 20 ms.


    Ako môžeme zhrnúť dilemu „ukladanie do vyrovnávacej pamäte verzus vrstvenie“?
    Čo si vybrať?
    • Vyrovnávacia pamäť sa zapĺňa rýchlejšie. Ak vaše pracovné zaťaženie pozostáva prevažne z náhodného čítania a „horúca“ oblasť sa pravidelne mení, mali by ste zvoliť vyrovnávaciu pamäť.
    • Úspora „rýchlej“ hlasitosti. Ak sa „horúce“ údaje úplne zmestia do vyrovnávacej pamäte, ale nie do vrstvy SSD, vyrovnávacia pamäť môže byť efektívnejšia. Cache SSD v DotHill 4004 je len na čítanie, takže je pre ňu vytvorená skupina diskov RAID-0. Napríklad, ak máte 4 SSD po 400 GB, môžete získať 800 GB vyrovnávacej pamäte pre každý z dvoch fondov (celkovo 1 600 GB) alebo 2 krát menej pri použití vrstvenia (800 GB pre jeden fond alebo 400 GB pre dva). možnosť 1200 GB v RAID-5 pre jeden fond, ak v druhom nie sú potrebné SSD.

      Na druhej strane, celkový užitočný objem bazéna pri použití vrstvenia bude väčší z dôvodu uloženia iba jednej kópie blokov.

    • Cache neovplyvňuje výkon sekvenčného prístupu. Pri ukladaní do vyrovnávacej pamäte sa bloky nepremiestňujú, iba kopírujú. Pri vhodnom zaťažovacom profile (náhodné čítanie v malých blokoch s opakovaným prístupom k rovnakým LBA) úložný systém načíta dáta z SSD cache, ak tam je, alebo z HDD a skopíruje ich do cache. Keď sa objaví záťaž so sekvenčným prístupom, údaje sa načítajú z HDD. Príklad: pool 20 10 alebo 15k HDD môže dať pri sekvenčnom čítaní cca 2000MB/s, no ak potrebné dáta skončia na diskovej skupine z dvojice SSD, tak dostaneme cca 800MB/s. Či je to kritické alebo nie, závisí od skutočného scenára používania úložného systému.

    4x SSD 400GB HGST HUSML4040ASS600 RAID-10

    Objem bol testovaný na lineárnej skupine diskov – RAID-10 štyroch 400GB SSD. V tejto dodávke DotHill sa abstraktný „400GB SFF SAS SSD“ ukázal ako HGST HUSML4040ASS600. Ide o SSD zo série Ultrastar SSD400M s pomerne vysokým deklarovaným výkonom (56000/24000 IOPS pre čítanie/zápis 4KiB), a čo je najdôležitejšie - zdroj 10 prepisov denne po dobu 5 rokov. Samozrejme, teraz má HGST vo svojom arzenáli výkonnejšie SSD800MM a SSD1600MM, ale tie sú pre DotHill 4004 celkom dosť.

    Použili sme testy navrhnuté pre jednotlivé SSD - „IOPS Test“ a „Test latencie“ zo špecifikácie SNIA Solid State Storage Performance Test Specification Enterprise v1.1:

    • Test IOPS. Počet IOPS (vstupných/výstupných operácií za sekundu) sa meria pre bloky rôznych veľkostí (1024KiB, 128KiB, 64KiB, 32KiB, 16KiB, 8KiB, 4KiB) a náhodný prístup s rôznymi pomermi čítania/zápisu (100/0, 95/ 5, 65/35, 50/50, 35/65, 5/95, 0/100 bolo použitých 8 vlákien s hĺbkou frontu 16).
    • Test latencie. Priemerná a maximálna latencia sa meria pre rôzne veľkosti blokov (8KiB, 4KiB) a pomery čítania/zápisu (100/0, 65/35, 0/100) s minimálnou hĺbkou frontu (1 vlákno s QD=1).
    Test pozostáva zo série meraní – 25 kôl po 60 sekúnd. Preload - sekvenčné zápisy v 128KiB blokoch až do dosiahnutia 2x kapacity. Okno ustáleného stavu (4 kolá) sa overí vynesením. Kritériá ustáleného stavu: lineárna aproximácia v rámci okna by nemala presiahnuť 90 %/110 % priemernej hodnoty.

    SNIA PTS: test IOPS



    Ako sa očakávalo, bola dosiahnutá uvedená výkonová hranica jedného radiča z hľadiska IOPS s malými blokmi. Z nejakého dôvodu DotHill uvádza 100 000 IOPS na čítanie a HP pre MSA2040 uvádza realistickejších 80 000 IOPS (to je 40 000 na jeden radič), čo vidíme v grafe.

    Na overenie bol testovaný jeden SSD HGST HGST HUSML4040ASS600 pripojený k SAS HBA. Na 4KiB bloku bolo prijatých asi 50 tisíc IOPS na čítanie a zápis pri nasýtení (SNIA PTS Write Saturation Test), zápis klesol na 25-26 tisíc IOPS, čo zodpovedá charakteristikám deklarovaným HGST.

    SNIA PTS: Test latencie

    Priemerná latencia (ms):


    Maximálna latencia (ms):


    Priemerná a špičková latencia sú pri pripojení k SAS HBA iba o 20 – 30 % vyššie ako jeden SSD.

    Záver

    Samozrejme, článok sa ukázal byť trochu chaotický a neodpovedá na niekoľko dôležitých otázok:
    • Porovnanie v podobnej konfigurácii s produktmi od iných predajcov: IBM v3700, Dell PV MD3 (a ďalší potomkovia LSI CTS2600), Infrotrend ESDS 3000 atď. Úložné systémy sa k nám dostávajú v rôznych konfiguráciách a spravidla nevydržia dlhý - potrebujete načítať a/alebo rýchlo nasadiť.
    • Limit úložnej kapacity nebol testovaný. Mal som možnosť vidieť cca 2100MiB/s (RAID-50 z 20 diskov), no sekvenčnú záťaž som detailne netestoval kvôli nedostatočnému počtu diskov. Som si istý, že udávaných 3200/2650 MB/s čítanie/zápis by bolo dosiahnuté.
    • V mnohých prípadoch neexistuje užitočný graf IOPS vs latencia, kde zmenou hĺbky frontu môžete vidieť, koľko IOPS je možné získať s prijateľnou hodnotou latencie. Bohužiaľ, nebolo dosť času.
    • Osvedčené postupy. Nechcel som znovu vynájsť koleso, aké je
    Len pred niekoľkými rokmi boli drahé špecializované úložné systémy na pevné disky zamerané predovšetkým na kritické podnikové aplikácie alebo niektoré špecifické úlohy. Dnes, vďaka rýchlemu vývoju konceptu NAS (Network Attached Storage) a množstvu ďalších riešení založených na pevných diskoch ATA, sa takéto systémy základnej úrovne stávajú predmetom pozornosti stredných podnikov, čo je dôležité najmä pre cenovo veľmi citlivý ukrajinský trh.
    Záujem kupujúcich o systémy na ukladanie dát má dosť vážne dôvody - napríklad potreba konsolidovať polia informácií, potreba riešiť problémy so zálohovaním dát vo veľkých sieťach a pod. Na druhej strane sa objavujú pri prevádzke systémy na vysokej a strednej úrovni.

    Podľa výsledkov prieskumu niekoľkých kyjevských spoločností sa dnes najčastejšie (v zostupnom poradí) nachádzajú nasledujúce motívy nákupu úložných zariadení.

    1. Dodatočné disky nie je možné alebo nerentabilné inštalovať na server (zvyčajne buď z dôvodu nedostatku miesta v skrini, alebo vysokej ceny originálnych diskov, prípadne nemasovej konfigurácie OS a platformy - napr. Silicon Graphics alebo Compaq Alpha Server, Mac atď.).

    2. Je potrebné vybudovať failover cluster so zdieľaným diskovým poľom. V takejto situácii sa niekedy zaobídete aj bez systému na ukladanie dát, napríklad pomocou PCI-SCSI RAID radičov s podporou klastrových systémov, táto konfigurácia je však menej funkčná a navyše neumožňuje povoliť zápis dát. ukladanie do vyrovnávacej pamäte v ovládačoch. Pri práci s databázami výkon riešení s nezávislým úložným zariadením niekedy rádovo prevyšuje systémy na PCI-SCSI RAID radičoch.

    3. V rámci štandardného servera nie je možné získať vysokokvalitné riešenie na ukladanie dát. V tomto prípade vám externý systém umožňuje implementovať RAIS (Redundant Array of Independent Servers – pole nezávislých serverov odolné voči chybám). Ukladá všetko, vrátane systémových údajov, ku ktorým majú prístup servery, ktoré ich spracúvajú. V tomto prípade je k dispozícii náhradný server, ktorý nahradí chybný server. Tento prístup je trochu podobný klastrovaniu, ale nepoužíva špecializovaný softvér a aplikácie nemigrujú automaticky.

    Všeobecne akceptovaná klasifikácia systémov na ukladanie údajov je založená na princípe organizácie prístupu k nim.


    SAS (Server Attached Storage)-- disk pripojený k serveru. Niekedy sa používa výraz „priamo pripojené úložisko“ – DAS (Direct Attached Storage).

    Hlavnou výhodou disku pripojeného k serveru v porovnaní s inými možnosťami je nízka cena a vysoký výkon.


    NAS (Network Attached Storage)-- úložné zariadenie pripojené k sieti.

    Hlavnou výhodou tohto riešenia je rýchlosť nasadenia a premyslená organizácia prístupu k súborom.

    SAN (Storage Area Network) - sieť na ukladanie dát. Najdrahšie riešenie, ktoré zároveň poskytuje množstvo výhod - nezávislosť topológie SAN od systémov na ukladanie dát a serverov, pohodlná centralizovaná správa, žiadny konflikt s LAN/WAN prevádzkou, pohodlné zálohovanie a obnova dát bez zaťaženia lokálnej siete a servery, vysoký výkon, škálovateľnosť, flexibilitu, dostupnosť a odolnosť.

    Systémy na ukladanie dát alebo samostatné disky

    Samozrejme, veľa rôznych zariadení možno nazvať jednotkou alebo systémom na ukladanie dát. Ale keďže hovoríme o diskových systémoch, ktoré poskytujú ukladanie informácií a prístup k nim, budeme ich chápať pod pojmom „jednotka“. Vo všeobecnosti pozostávajú z pevných diskov, vstupno/výstupného ovládača a prepojovacieho systému. Disky spravidla podporujú „hot swap“, t.j. môžu byť pripojené a odpojené „za behu“ bez vypnutia jednotky. To umožňuje vymeniť chybný pevný disk bez akýchkoľvek problémov pre používateľa. Hlavné a záložné napájacie zdroje disku majú zvýšenú spoľahlivosť a sú tiež vymeniteľné za chodu. Áno a niekedy sa používajú dva I/O radiče. Schéma typického diskového úložného systému s jedným radičom je možné vidieť na obr. 1.

    Jeho centrom je radič diskového úložného systému. Je zodpovedný za vstup/výstup údajov v rámci systému a na externé kanály, ako aj za organizáciu ukladania a prístupu k informáciám. Na komunikáciu s vonkajším svetom radiče jednotiek zvyčajne používajú rozhrania SCSI, Fibre Channel alebo Ethernet.

    V závislosti od účelu systému môžu riadiace jednotky implementovať rôzne prevádzkové logiky a používať rôzne protokoly výmeny údajov. Poskytujú užívateľským systémom údaje na úrovni blokov, ako sú pevné disky alebo súborové služby využívajúce NFS, CIFS, ako aj protokoly Network File System, Common Internet File System, ako sú súborové servery (pozri bočný panel „Súborové protokoly v NAS – CIFS , NFS, DAFS"). Tento radič zvyčajne podporuje štandardné úrovne RAID na zlepšenie výkonu systému a zabezpečenie odolnosti voči chybám.

    Súborové protokoly na NAS -- CIFS, NFS, DAFS CIFS (Common Internet File System) je štandardný protokol, ktorý poskytuje prístup k súborom a službám na vzdialených počítačoch (vrátane internetu). Protokol používa model interakcie klient-server.

    Klient vytvorí požiadavku na server na prístup k súborom alebo odoslanie správy programu, ktorý sa nachádza na serveri. Server splní požiadavku klienta a vráti výsledok svojej práce. CIFS je otvorený štandard založený na protokole Microsoft SMB (Server Message Block Protocol), ktorý sa tradične používa v lokálnych sieťach Windows na prístup k súborom a tlač. Na rozdiel od posledne menovaného je CIFS určený na použitie aj v distribuovaných sieťach – počíta napríklad s možnosťou veľkých timeoutov.

    CIFS používa na prenos údajov TCP/IP. Poskytuje funkcie podobné FTP (File Transfer Protocol), ale poskytuje klientom rozšírenú (priamu) kontrolu súborov. Umožňuje tiež zdieľať prístup k súborom medzi klientmi pomocou blokovania a automatického obnovenia komunikácie so serverom v prípade zlyhania siete.

    NFS (Network File System) je štandard IETF, ktorý zahŕňa distribuovaný súborový systém a sieťový protokol. NFS bol vyvinutý spoločnosťou Sun a pôvodne sa používal iba na systémoch Unix. Neskôr sa implementácie klientskej a serverovej časti rozšírili do iných systémov.

    NFS, podobne ako CIFS, je založený na komunikačnom modeli klient-server. Poskytuje prístup k súborom na vzdialenom počítači (serveri) na zápis a čítanie, ako keby boli na počítači používateľa. V skorých verziách NFS sa na prenos údajov používal protokol UDP, v moderných verziách sa používal protokol TCP/IP. Aby NFS fungovalo na internete, Sun vyvinul protokol WebNFS, ktorý využíva rozšírenia funkčnosti NFS na správne fungovanie na World Wide Web.

    DAFS (Direct Access File System) je štandardný protokol pre prístup k súborom, ktorý je založený na NFSv4. Umožňuje aplikáciám prenášať údaje obchádzaním operačného systému a jeho vyrovnávacieho priestoru priamo do transportných prostriedkov, pričom zachováva sémantiku súborových systémov. DAFS využíva najnovšie technológie prenosu z pamäte do pamäte. Poskytuje vysoké I/O rýchlosti súborov, minimálne zaťaženie CPU a systému vďaka výraznému zníženiu počtu operácií a prerušení, ktoré sú zvyčajne nevyhnutné pri spracovaní sieťových protokolov. Obzvlášť efektívne je využitie hardvérovej podpory VI (Virtual Interface).

    DAFS bol navrhnutý pre nepretržite spustené databázy a rôzne internetové aplikácie v klastrových a serverových prostrediach. Poskytuje najnižšiu latenciu pre prístup k zdieľaným súborom a informáciám a tiež podporuje inteligentné mechanizmy obnovy systému a dát, vďaka čomu je veľmi atraktívny pre použitie v High-End NAS diskoch.



    Prečo ATA Dnes je rozdiel v nákladoch na jednotku objemu pre veľké disky ATA a SCSI viac ako šesťnásobný a tento pomer je celkom opodstatnený. Drahé SCSI disky sú určené predovšetkým pre podnikové informačné systémy a zvyčajne majú vyšší výkon pri spracovaní väčšieho množstva požiadaviek. Používajú spoľahlivejšie komponenty, sú lepšie testované a zodpovednosť výrobcu za tieto zariadenia je oveľa vyššia.

    Ak však náklady na dáta nie sú také vysoké alebo je na ich zálohovanie potrebné iba prechodné zariadenie, prečo platiť šesťkrát viac? Vzhľadom na to, že porucha jedného z diskov poľa nie je kritická, je celkom prijateľné použiť jednotku s diskami ATA. Samozrejme, existuje množstvo kontraindikácií pre použitie ATA diskov vo veľkých systémoch na ukladanie dát, ale existuje aj množstvo aplikácií, pre ktoré sú ideálne.

    Zariadenia IDE sú najbežnejšie v systémoch NAS základnej úrovne. Pri použití dvoch alebo štyroch diskov organizovaných v poli RAID 1 alebo 0+1 je pravdepodobnosť zlyhania celého systému prijateľne malá a výkon dostatočný – súborové servery základnej úrovne nevykonávajú každú sekundu príliš veľa diskových operácií, ale dátové toky sú obmedzené na externé rozhrania Fast Ethernet alebo Gigabit Ethernet.

    Tam, kde sa vyžaduje blokový prístup k dátam pri minimálnych nákladoch na riešenie a počet operácií za jednotku času nie je kritickým parametrom, používajú sa systémy s externým paralelným rozhraním SCSI alebo Fibre Channel a ATA diskami vo vnútri (obr. 2). .

    Poprední výrobcovia dnes ponúkajú ATA disky, ktoré sú vo všetkých charakteristikách, vrátane MTBF, podobné priemyselným SCSI diskom. Zároveň sa ich cena stáva porovnateľnou, a preto použitie jednotiek ATA poskytuje len malý zisk v cene jednotiek.

    V prípade serverov a pracovných staníc základnej úrovne, ktoré ukladajú pomerne dôležité údaje, použitie lacných radičov PCI ATA, ako ukazuje prax, nie vždy dáva požadovaný výsledok kvôli ich relatívnej primitívnosti a nízkej funkčnosti. Používanie drahých externých úložných zariadení nie je vždy opodstatnené. V tomto prípade môžete použiť ATA-to-ATA zariadenie, ktoré je menšou kópiou externého diskového úložného systému a je určené len pre dva disky s rozhraním ATA. Má však celkom kvalitný zabudovaný radič a podporuje aj hot-swap disky (obr. 3).


    Serial ATA - nový nádych rozhrania ATA

    S príchodom rozhrania Serial ATA by malo byť na ATA diskoch viac systémov na ukladanie dát. Hovoria o tom takmer všetci výrobcovia diskov základnej úrovne. Dnes sú ich nové modely už vybavené novým rozhraním. Prečo je rozhranie Serial ATA zaujímavé pre výrobcov úložných systémov?

    Podporuje inštrukčnú sadu Native Command Queuing - radič analyzuje I/O požiadavky a optimalizuje poradie ich vykonávania. Je pravda, že na rozdiel od tradičného natívneho radenia príkazov na diskoch SCSI, ktoré poskytovalo rad až 256 príkazov, Serial ATA bude podporovať rad až 32 príkazov. „Hot swapping“ diskov Serial ATA, ktorý predtým vyžadoval určité technické triky, je teraz uvedený priamo v štandarde, čo umožní vytváranie podnikových riešení na pomerne vysokej úrovni. Dôležitý je aj nový dizajn: kábel v novom rozhraní sa stal okrúhlym a jeho konektor sa stal malým a úzkym, čo uľahčuje návrh a montáž systémov.

    V nových verziách sa zvýši výkon Serial ATA a niet pochýb o tom, že podiel ATA riešení v základných úložných systémoch sa vďaka novým diskom s týmto rozhraním zvýši, zatiaľ čo vývoj Parallel ATA sa spomalí, pretože bol nedávno pozorovaný.

    RAID (redundantné pole nezávislých diskov) Jednotky základnej úrovne zvyčajne používajú úrovne RAID 0, 1, 5 a ich kombinácie.

    Pruhované diskové pole bez odolnosti voči chybám. V tomto prípade sú dáta rozdelené do blokov, zapisovaných paralelne na rôzne disky, ktoré sa spoločne podieľajú na každej I/O operácii.

    Výhodou tohto prístupu je vysoký výkon pre aplikácie náročné na I/O, jednoduchá implementácia a nízke náklady na jednotku objemu. Hlavnou nevýhodou je, že nejde o riešenie odolné voči chybám: zlyhanie ktoréhokoľvek disku má za následok stratu všetkých údajov v poli.

    Diskové pole s duplikáciou. „Zrkadlenie“ je tradičný spôsob zvýšenia spoľahlivosti malého diskového poľa. Najjednoduchšia verzia používa dva disky, na ktorých sú zaznamenané rovnaké informácie. Ak jeden z nich zlyhá, zostane duplikát, ktorý pokračuje v prevádzke ako predtým.

    Výhody: jednoduchosť implementácie a obnovy dát, ako aj pomerne vysoký výkon pre aplikácie s vysokou intenzitou požiadaviek. Nevýhody - nízka rýchlosť prenosu dát pri dvojnásobných nákladoch na jednotku objemu, pretože existuje 100% redundancia. Pri väčšom počte diskov môžete namiesto RAID 1 použiť RAID 0+1 alebo RAID 10, kombinácie RAID 0 a RAID 1, ktoré umožňujú dosiahnuť lepší výkon a spoľahlivosť systému.

    RAID 5

    Pole nezávislých dátových diskov odolné voči chybám s distribuovanými blokmi parity.

    Údaje sú rozdelené na úrovni bloku. Každý blok údajov je zapísaný na konkrétny disk a je možné ho čítať samostatne. Parita sa počíta pre dátové bloky a cyklicky sa distribuuje na všetky disky v poli. Ak sú operácie zápisu správne naplánované, je možné paralelné spracovanie až N/2 blokov, kde N je počet diskov v skupine. To zvyšuje výkon a na získanie poľa odolného voči chybám sa používa iba jeden redundantný disk.

    RAID 5 poskytuje vysoké rýchlosti čítania a zápisu, čo zlepšuje výkon pre vysoké požiadavky na čítanie/zápis a zároveň znižuje réžiu implementácie redundancie. Jeho organizácia je však pomerne zložitá a určitý problém môže predstavovať obnova dát.



    Rozhranie Serial Attached SCSISCSI má vysokú rýchlosť a spoľahlivosť, ale takéto riešenia sú dosť drahé. SAS (Serial Attached SCSI) je zaujímavý vývoj SCSI a pravdepodobne sa bude používať aj v lacných systémoch základnej a strednej triedy.

    Mnoho výrobcov úložných systémov dnes používa pri navrhovaní relatívne jednoduchých diskov rozhranie Ultra 320 SCSI. Táto generácia paralelného rozhrania SCSI je momentálne posledná v rade. Mechaniky s už skôr oznámeným rozhraním Ultra 640 SCSI sa s najväčšou pravdepodobnosťou nebudú sériovo vyrábať alebo úplne zmiznú zo scény. Na nedávnom stretnutí s partnermi spoločnosť Seagate, líder vo výrobe pevných diskov pre podnikové systémy, oznámila, že nové modely diskov pre špičkové systémy budú vybavené rozhraním Fibre Channel a pre menšie podnikové systémy - Serial SCSI. Zároveň zvyčajný paralelný Ultra 320 SCSI hneď nezmizne. Jeho definitívna výmena sa očakáva najskôr o päť rokov.

    Serial SCSI kombinuje niektoré funkcie Serial ATA a Fibre Channel. Bol vyvinutý na základe špecifikácií Serial ATA a vylepšený. Zvýšila sa tak úroveň signálu, čo umožňuje zodpovedajúcim spôsobom zvýšiť maximálnu dĺžku štvoržilového kábla na 10 m. Toto dvojkanálové rozhranie point-to-point funguje v plnom duplexnom režime a dokáže obslúžiť až 4096 diskových zariadení. v doméne a podporuje štandardnú sadu príkazov SCSI na úrovni protokolu.

    Zároveň, napriek všetkým svojim výhodám, je nepravdepodobné, že Serial Attached SCSI v blízkej budúcnosti nahradí konvenčné paralelné rozhranie. Vo svete podnikových riešení prebieha vývoj veľmi opatrne a prirodzene dlhšie ako pri desktopových systémoch. A staré technológie nemiznú veľmi rýchlo, pretože ich životný cyklus je niekoľko rokov. Prvé zariadenia s rozhraním SAS by sa mali objaviť na trhu v roku 2004. Prirodzene, najprv to budú hlavne disky a PCI radiče, ale pomerne rýchlo sa objavia aj systémy na ukladanie dát. Porovnávacie charakteristiky rozhraní sú uvedené v tabuľke "Porovnanie moderných diskových rozhraní".


    SAN -- úložné siete

    SAN (pozri bočný panel "Klasifikácia systémov na ukladanie dát - DAS/SAS, NAS, SAN") na báze Fibre Channel umožňujú vyriešiť takmer akýkoľvek problém s ukladaním dát a prístupom k nim. Existuje však niekoľko nevýhod, ktoré negatívne ovplyvňujú šírenie týchto technológií, predovšetkým vysoká cena riešení a zložitosť budovania geograficky distribuovaných systémov.

    O použití IP protokolu v SAN ako transportu pre SCSI príkazy a dáta sa vedie búrlivá diskusia, ale každý chápe, že riešenia IP Storage si určite nájdu svoje miesto v oblasti systémov na ukladanie dát a čakanie na seba nenechá dlho čakať. .

    V rámci zlepšovania technológií sieťového ukladania zorganizovala skupina Internet Engineering Task Force (IETF) pracovnú skupinu a fórum IP Storage (IPS) v týchto oblastiach:

    FCIP -- Fibre Channel over TCP/IP, tunelový protokol vytvorený na báze TCP/IP a navrhnutý na pripojenie geograficky vzdialených FC SAN bez akéhokoľvek vplyvu na FC a IP protokoly;

    IFCP -- Internet Fibre Channel Protocol, protokol na pripojenie FC systémov alebo úložných sietí založených na TCP/IP, využívajúci IP infraštruktúru v spojení alebo namiesto FC prepínacích a smerovacích prvkov;

    ISNS -- Internet Storage Name Service, protokol na podporu názvov úložísk;

    ISCSI -- Internet Small Computer Systems Interface, protokol založený na TCP/IP určený na prepojenie a správu úložných systémov, serverov a klientov.

    Najrýchlejšie sa rozvíjajúcou a najzaujímavejšou z týchto oblastí je iSCSI, ktoré sa stalo oficiálnym štandardom 11. februára 2003. Jeho rozvoj by mal výrazne ovplyvniť rozšírenie SAN v malých a stredných podnikoch, a to z dôvodu, že úložné siete výrazne zlacnejú. Čo sa týka využitia iSCSI na internete, dnes sa tu už FCIP celkom dobre udomácnil a konkurencia s ním bude dosť intenzívna, ale vzhľadom na integrovaný prístup by mal fungovať v prospech iSCSI.

    Vďaka technológiám IP Storage, vrátane iSCSI, vytvorili úložné siete nové príležitosti na budovanie geograficky distribuovaných úložných systémov. Okrem toho nové úložné systémy, pre ktoré bude iSCSI „natívnym“ protokolom, poskytnú množstvo ďalších výhod, ako napríklad podporu QoS, vysokú úroveň zabezpečenia a možnosť využívať ethernetových špecialistov pri údržbe siete.

    Jednou z veľmi zaujímavých funkcií iSCSI je, že na prenos dát na iSCSI disku môžete využiť nielen médiá, prepínače a smerovače existujúcich LAN/WAN sietí, ale aj bežné sieťové adaptéry Fast Ethernet alebo Gigabit Ethernet na strane klienta. V skutočnosti je však kvôli určitým ťažkostiam lepšie používať špecializované vybavenie, čo v dôsledku toho povedie k tomu, že náklady na riešenia začnú dobiehať tradičné Fibre Channel SAN.

    Rýchly rozvoj úložných sietí sa stal základom pre formovanie koncepcie World Wide Storage Area Network. WWSAN zabezpečuje vytvorenie infraštruktúry, ktorá bude poskytovať vysokorýchlostný prístup a ukladanie údajov distribuovaných po celom svete.

    Porovnanie moderných diskových rozhraní

    možnosti Serial ATA SCSI SAV F.C.
    Počet podporovaných zariadení 16 16 4096 2 24
    Maximálna dĺžka kábla, m 1 12 10 meď: 30
    Optika: 10 000*
    Podporované topológie Bodka po bodke Pneumatika Bodka po bodke prsteň**
    Bodka po bodke
    Výkon, MB/s 150, 300 320 150, 300 100, 200, 400
    Plný duplex - - + +
    Rozhrania ATA, SCSI SCSI ATA, SCSI Nezávislý***
    Podpora zariadenia s dvoma portami - - + +

    * Norma upravuje vzdialenosť do 10 km pre jednovidové optické vlákno, existujú implementácie na prenos dát na vzdialenosť viac ako 100 km.
    ** FC rozbočovače a prepínače fungujú v rámci internej kruhovej topológie a existujú aj implementácie prepínačov, ktoré poskytujú konektivitu point-to-point akýmkoľvek zariadeniam, ktoré sú k nim pripojené.
    *** Existujú implementácie zariadení pre rozhrania a protokoly SCSI, FICON, ESCON, TCP/IP, HIPPI, VI.
    0