V roce 2020 jsme úspěšně dokončili realizaci rozsáhlého výzkumně vývojového projektu Engineered Data Storage System podpořeného z dotačního programu Aplikace.
Cílem projektu byl vývoj prototypu integrovaného HW a SW řešení pro oblast ukládání a správy digitálních dat a souborů různých typů organizací – Engineered Data Storage System (EDSS). Zároveň s tím byl vyvinut unikátní SW na ochranu dat a informací v digitálních dokumentech (DRM), který lze nabízet jako samostatný produkt nezávislý na HW komponentách.
Projekt navazuje na dosavadní vývoj firmy a obsahuje reálnou strategii využití výsledků. Tržní segment, na který primárně cílí, jsou např. zdravotnická zařízení, která jsou typicky majiteli velkého množství citlivých dat.
KOMU JE MIT EDSS URČEN?
Všem společnostem, které hledají cenově dostupné, moderní, flexibilní, škálovatelné a bezpečné úložiště pro veškerá podniková data bez ohledu na velikost společnosti. Velká kapacita úložiště, rychlost ukládání a přístupu k datům a jejich zálohování jsou základní požadované parametry všech společností, které ukládají velké množství dat. MIT EDSS nabízí náhradu velkých centrálních úložišť, ale zároveň i bezpečnou a rychlou alternativu lokálních disků osobních počítačů a jiných zařízení připojených do podnikové sítě.
Snadná implementace, ovládání a řízení nebylo nikdy předtím snadnější a v případě MIT EDSS jej běžně zvládne IT odborník se základními znalostmi práce se síťovými úložišti bez nutnosti zdlouhavého a drahého zaškolení. Ani provoz MIT EDSS nevyžaduje odborného administrátora, jelikož většina úkonů je automatizována.
Přesto je v případě potřeby k dispozici tým odborníků k poskytnutí instalační, poinstalační, záruční i provozní podpory.
Jednoduchost v libovolném rozsahu
Platformu MIT EDSS lze nasadit v libovolné velikosti a dále postupně rozšiřovat dle požadavku na velikost úložiště až do velikosti řádově desítek petabytů (maximálně 5 PB na jeden rack), přičemž nebude ztrácet na jednoduchosti a snadnosti použití.
Z finančního hlediska vzniká úspora již při pořízení zařízení a následných změnách konfigurace.
Díky kompaktnosti celého systému MIT EDSS a flexibilitě jeho kapacitního rozšíření odpadají náklady na pořízení různých typů datových úložišť, které vyžadují složitější systémovou integraci s interními systémy uživatele.
Klíčové vlastnosti
|
Flexibilita a škálovatelnost
|
Bezpečnost
|
Provozní podpora
|
Volitelné funkce
|
Protokoly
|
Jednoduchost v libovolném rozsahu
Platformu MIT EDSS lze nasadit v libovolné velikosti a dále postupně rozšiřovat dle požadavku na velikost úložiště až do velikosti řádově desítek petabytů (maximálně 5 PB na jeden rack), přičemž nebude ztrácet na jednoduchosti a snadnosti použití.
Z finančního hlediska vzniká úspora již při pořízení zařízení a následných změnách konfigurace. Díky kompaktnosti celého systému MIT EDSS a flexibilitě jeho kapacitního rozšíření odpadají náklady na pořízení různých typů datových úložišť, které vyžadují složitější systémovou integraci s interními systémy uživatele.
Minimální konfigurace se skládá z jednoho racku s 6 servery – 3 výpočetní servery, 3 úložné servery a 2 + 1 přepínače.
Platforma MIT EDSS využívá operační systém EDSS Linux, který v základu systému integruje unixové jádro se speciálními komponentami pro správu úložiště, deduplikaci, komprimaci, šifrování a další. Podle potřeb může být navýšeno množství CPU, RAM, úložného prostoru, síťových rozhraní atd. tak, aby bylo dosaženo ještě vyšších rychlostí a většího úložného prostoru bez úzkých míst.
Všechny servery jsou propojeny vnitřní vysokorychlostní redundantní 2×25 Gb sítí s nízkou latencí. Vnitřní síť je k zákazníkovi připojena přes 2×25 Gb nebo 2×100 Gb redudantní rozhraní. Protože všechny MIT EDSS systémy jsou v základu identicky nakonfigurovány, zákazníci mohou těžit ze zkušeností ostatních zákazníků a expertů MIT. Vnitřní datová síť je tvořena dvěmi 25/100 Gb přepínači. Každý přepínač má 48 x 25 Gb SFP28 port a 6 x 100 Gb QSFP28, které umožňují snadnou rozšiřitelnost konfigurace o další úložné servery za účelem dynamického navyšování I/O propustnosti a úložné kapacity.
Podle potřeb v závislosti na nároky na úložný prostor a na výpočetní výkon je v rámci rozšiřitelnosti možnost zvolit rozšíření konfigurace o úložné servery nebo o disková pole (JBOD). V případě JBOD rozšíření se jedná o skladovací skříň, která rozšíří současnou diskovou kapacitu jednoho úložného serveru až o 60 disků. Pokud je v rámci konfigurace I/O propustnost dostatečná a je potřeba výrazně navýšit úložný prostor, je vhodné rozšířit konfiguraci o JBOD. Rozšíření konfigurace lze kombinovat, například přidáním dalších až 5 úložných serverů nebo 1 úložného serveru a 4 JBOD.
Proces rozšíření konfigurace probíhá bez negativního dopadu na současnou infrastrukturu, konfiguraci a provoz. Nové úložné servery jsou konfigurovány a rozšiřovány online několika jednoduchými příkazy. MIT EDSS chrání investice zajištěnou stabilitou, kompatibilitou a bezproblémovým nasazením serverů novější generace do stávající konfigurace serverů MIT EDSS.
Každý úložný server lze osadit 24 disky a JBOD 60 disky všechny formátu 3,5“ 6 Gb/s SAS. Podporované velikosti disků jsou od 4 TB do 16 TB. To znamená maximální kapacitu 5376 TB (336 x 16 TB). Základní minimální konfigurace má kapacitu 288 TB (24 disků * 3 servery * 4 TB). Všechny 3,5“ disky jsou hot-swap (vyměnitelné za provozu).
EDSS nabízí výrazně snadněji škálovatelné řešení, co se nárůstu úložné kapacity paměti týká, a to bez nutnosti fyzických zásahů do infrastruktury systému (pouze výměnou kus za kus, či vložení dalšího kusutypicky serveru). Systém plně podporuje náhradu starých disků novými bez ohledu na kapacitu nových disků. Zároveň systém po připojení nového disku sám rozhodne, jaká data budou na nový disk přenesena, aby byla data rovnoměrně rozprostřená, napříč jednotlivými úložnými servery. Toto umožňuje škálovatelnost systému s pomocí nových technologií, kdy staré disky, ač funkční, je možné postupně nahrazovat za disky nové, s vyšší kapacitou a energetickou efektivitou.
MIT EDSS využívá V-NAND (Vertical – Non – Volatile Memory Express) flash technologii k výraznému snížení latence I/O operací. Každý úložný server obsahuje minimálně 2 extrémně rychlé NVMe PCIe flash NAND disky každý o kapacitě 1,6 TB. Celkem tedy minimálně 3,2 TB na každém úložném serveru. Každý tento disk má dva hlavní účely:
• cachování zapisovaných a čtených dat (cache disk),
• zajištění nízké latence u často čtených či přepisovaných dat jako jsou metadata objektů (flash disk).
Dalšími výhodami kromě vyšší rychlosti vzhledem k použití NVMe disků jsou nižší spotřeba a dlouhá životnost.
Rychlost
MIT EDSS dosahuje rychlosti až 6 GB/s pro čtení a zápis (dohromady 12 GB/s, 10 milionů vstupně výstupních operací za sekundu (IOPS). Poskytuje tak výkon a schopnosti, jaké zákazníci potřebují pro podnikové informační systémy ale i pro aplikace AI, analýzu dat, internet věcí, digitální média a aplikace ve zdravotnictví a přírodních vědách. Základní konfigurace dosahuje dvojnásobné rychlosti oproti rychlým flash diskům.
Prostřednictvím protokolů iSCSI, NFS, CIFS, RADOS, S3 a dalších, cluster poskytuje ukládání dat v mnoha podobách.
Do jednoho stejného úložného prostoru můžete ukládat nejen klasické soubory, ale i objekty či přímo bloky surových dat.
Přes protokol iSCSI mohou být zpřístupněny celé virtuální disky nejen pro ukládání souborů, ale i pro databáze, operační systémy a virtualizace.
Virtuální disky mohou začínat na velikosti gigabajtů dat a být zvětšovány až na velikost petabajtů dat. Vícero uživatelů může přistupovat do stejného uživatelského prostoru nebo každý uživatel může mít svůj valstní vyhrazený prostor.
Vysoké úspory datové kapacity lze především dosáhnout prostřednictvím deduplikace, a to o více jak desítky procent. V závislosti na typu dat lze dosáhnout úspory o více jak 90 % (např. u dat inkrementálních záloh).
Dalších až několik desítek procent úspory lze dosáhnout komprimací dat.
Systém MIT EDSS má v porovnání s obdobnými systémy dostupnými v současné době na trhu nesrovnatelně efektivnější nástroje pro bezpečné a úsporné ukládání nestrukturovaných dat. Neméně významnou je úspora provozních nákladů souvisejících s vynucenými odstávkami HW a SW infrastruktury v rámci datových úložišť v případě nutnosti škálování či technických zásahů. Navržené řešení je kongtruováno tak, že řídící servery automaticky rozdistribuují datové fragmenty na jiná úložiště v rámci systému, takže je tím zcela zamezeno nedostupnosti jakýchkoliv dat.
Distribuce do různých paměťových úložišť v rámci systému je prováděno prostřednictvím CRUSH algoritmu. CRUSH algoritmus zajišťuje decentralizaci dat, eliminuje jediný bod selhání (SPOF), výkonnostní limit a fyzické omezení škálovatelnosti.
Je možné začít i s menším clusterem za nižší cenu a postupně navyšovat až do stovek serverů.
Distribuce datových bloků do geograficky vzdálených datových úložišť. Kromě ukládání dat do lokálního clusteru, je možné ukládat data automaticky do geograficky vzdálených serverů daného clusteru a ukládat data do jiného clusteru synchronně a asynchronně. Geoclustering je důležitou ochranou proti neočekávaným pohromám, například živelní katastrofy, které by jinak mohly vést k nečekaným výpadkům a ztrátám dat.
Algoritmem erasurecode je dosaženo vyššího efektivního ukládání dat než např. klasickým replikováním (nižší nároky na datový prostor s vyšším zabezpečením). Data se automaticky rozdělují do datových shluků a společně s vypočtenými paritami se ukládají napříč úložištěm. Automatické kontroly zajišťují jistotu platnosti dat.
V případě fyzického porušení nebo ztráty bloků dat, se data automaticky okamžitě obnoví z paritních dat a potenciálně ztracená data jsou okamžitě k dispozici. Ztráta části fyzických disků či celých serverů neovlivní dostupnost dat. Úrovně zabezpečení a poměry užitečných dat k datům redundatním jsou dynamicky nastavitelné prostřednictvím flexibilních profilů.
Systém automaticky vytváří snímky virtuálních disků. Pokud si klient např. omylem odstraní data, může se vrátit k předešlému stavu disku ze snímku disku. Ze snímku disku lze i vytvořit další nový virtuální disk nebo klon. Nový disk či klon obsahuje data původního disku. Klon je copy-on-write kopie původního snímku. Klon zabírá 0 B datového prostoru, případně zabírá pouze prostor upravených dat. Read-only klon je užitečný pro zobrazení obsahu disku k určitému datu.
Díky metodám copy-on-write, thin-provisioning, fast-diff a object-map je kopírování a klonování disků rychlé a úsporné na prostor. Snímkování disků je důležitou součástí bezpečnosti proti útočníkům (hackerům).
Jednou z běžných praktik útočníků je nabourat se do počítačového systému (klientské stanice), zašifrovat připojené disky, tím učiní klientskou stanici nefunkční a data ztracená.
Poté vyzve provozovatele dané sítě či klientské stanice, aby uhradil částku obvykle ve virtuální měně bitcoin. Pro rok 2019 akademici odhadují celosvětové ztráty ve zdravotnictví způsobené hackery ve výši 25 miliard dolarů, tedy přes 500 miliard korun. V uplynulých letech v zahraničí například zaplatila americká nemocnice Hancock Health výkupné ve výši v přepočtu více než milion korun, aby se dostala ke svým datům, dále N.E.O. Urology v Ohiu téměř dva miliony korun.
V posledních letech se objevuje hodně případů útoků i v České republice, např. brněnská fakultní nemocnice, královehradecká fakultní nemocnice, pražský Motol, nemocnice na benešovsku a další.
V některých případech byly nemocnice přinuceny až na několik týdnů omezit provoz, nešlo spuštět přístroje a rušili se operace. V našem případě při použití MIT EDSS by se problém okamžitě vyřešil vrácením stavu virtuálního disku k dřívějšímu stavu (automaticky uložený snímek).
Automatizované a efektivní šifrování ukládáných dat prostřednictvím AES šifrovacích metod. Data jsou šifrována na redundantních branách a až následně ukládána do prostoru datového úložiště. Různé datové bloky jsou šifrovány různými klíči. Klíče se nikdy nevyskytují na konečných serverech úložiště.
I v případě odcizení celého serveru se útočníkovi nepodaří získat klientská data.
Systém MIT EDSS zajišťuje uživatelům vysokou míru bezpečnosti dat, a to i s ohledem na legislativu (GDPR). Zákazaník má tímto sníženou míru rizika úniku dat, která mohou mít dopady do provozuschopnosti organizace či zvýšit náklady na úhradu škod plynoucích ze zneužití osobních či citlivých údajů třetích osob.
Profily zabezpečení řídí redundanci a dostupnost dat v případě HW výpadku. V základní konfiguraci jsou 3 profily plus lze dynamicky nastavit další.
Předkonfigurované základní profily:
- Maximální velikost: vhodný pro ukládání například záloh nebo méně důležitých dat. Aktivní komprese a nízká redundance dat. Využitelná kapacita alespoň 80%.
- Výchozí dostupnost: výchozí a doporučený profil pro ukládání dat. Například pro virtuální disky na dokumenty nebo virtualizace. Využitelná kapacita alespoň 50%.
- Maximální dostupnost: doporučený profil pro ukládání dat, které musí být dostup né i při extrémně vysokém vícenásobném HW výpadku. Vyšší dostupnost, ale s vyšší redundancí dat. Využitelná kapacita alespoň 30%.
Zda data jsou nebo nejsou dostupná při HW výpadku záleží podle zvoleného profilu při jejich ukládání.
V minimální konfiguraci 3 datových serverů jsou data dostupná i v případě výpadku:
- Profil Maximální velikost: současné selhání 6 disků kdekoliv.
- Profil Výchozí dostupnost: současné selhání 9 disků kdekoliv nebo 1 celý server a 3 disky kdekoliv.
- Profil Maximální dostupnost: současné selhání 24 disků kdekoliv nebo 1 server 14 disků kdekoliv nebo 2 servery a 1 disk kdekoliv .
Profil Výchozí dostupnost je doporučeným profilem, protože:
- současné selhání dohromady 9 disků kdekoliv je silně nepravděpodobné,
- data zůstanou dostupná i při odpojení 1 serveru např. kvůli servisnímu zákroku.
Tento profil je dostatečně bezpečný pro uložení většiny typů dat. Výpadky např. jeden disk v jeden den a další disk v druhém dni, jsou výpadky nesoučasné, nemají vliv na dostupnost dat a počítají se vždy jako selhání 1 disku (úložiště se ze selhání disku automaticky rychle zotaví a opět může selhat až dalších 9 disků či celý server).
Závěr
MIT EDSS poskytuje extrémně bezpečné, rychlé a vysoce dostupné úložiště s nejnovějšími hardwarovými a jedinečnými softwarovými technologiemi a službami. To spolu s úsporami nákladů, snadnou správou a vylepšenou podporou vede k pružnějšímu a efektivnějšímu podnikání. MIT EDSS je nový světový standard pro správu dat a činnostmi s nimi souvisejícími.
MIT EDSS Vás připraví na vizi IDC, která předpovídá, že v roce 2020 bude na světě vygenerováno 44 Zettabytů dat ročně.
Parametry
 |
 |
 |
 |
Stáhněte si produktový list v PDF
Máte zájem o více informací?
|
|
Projekt byl podpořen ze strukturálních fondů EU v rámci Operačního programu Podnikání a inovace pro konkurenceschopnost (Aplikace IV. výzva – s účinnou spoluprací).
|
