Programavimas

Duomenų tinklai atmintyje ir atminties duomenų bazės

Atminties kompiuterijos taikymas ir toliau spartėja. Brandūs sprendimai leidžia organizacijoms gauti duomenų bazės apdorojimo greitį ir mastą, reikalingą skaitmeninei transformacijai ir visakanalių klientų patirties iniciatyvoms. Pavyzdžiui, investicinė įmonė „Wellington Management“ naudojo atminties skaičiavimo platformą, kad paspartintų ir padidintų savo investicijų apskaitos žurnalą (IBOR) - vienintelį tiesos šaltinį investuotojų pozicijoms, pozicijoms, vertinimams ir rezultatams. Visos realiuoju laiku vykdomos prekybos operacijos, visa susijusi sąskaitos veikla, trečiųjų šalių duomenys, pvz., Rinkos kotiruotės, ir visa susijusi „back office“ veikla vyksta realiuoju laiku per jos IBOR. IBOR taip pat palaiko veiklos analizę, rizikos vertinimą, normatyvų laikymąsi ir dar daugiau. Įvairių bandymų metu naujoji platforma veikė mažiausiai dešimt kartų greičiau nei įmonės senoji sistema, sukurta tiesiai ant „Oracle“ reliacinės duomenų bazės.

Nikita Ivanovas yra „GridGain Systems“, kuriančios atminties kompiuterinius sprendimus, technikos vadovas.

„Gartner“ prognozuoja, kad iki 2019 m. 75 proc. Vietinių debesų programų bus naudojama atminties kompiuterija arba paslaugos, naudojančios atminties skaičiavimus, kad pagrindiniai kūrėjai galėtų įdiegti didelio našumo, masiškai keičiamo dydžio programas. Tačiau kūrėjai, nauji atminties kompiuterijos technologijose, turi išsiugdyti supratimą apie įvairias strategijas, kaip pridėti technologiją prie savo architektūros. Daugeliu atvejų pirmasis sprendimas, kurį jiems reikia priimti, yra tai, ar įdiegti atminties duomenų tinklelį, ar atminties duomenų bazę. Šis sprendimas visų pirma bus pagrįstas tuo, ar jie ketina paspartinti esamas programas, ar planuoja kurti naujas programas, ar visiškai atrasti esamas, ar pamatyti galimybę tai padaryti. Jie taip pat turi apsvarstyti, kuris sluoksnis bus naudojamas kaip įrašų sistema, atminties skaičiavimo sluoksnis ar pagrindinis duomenų sluoksnis.

Panagrinėkime atminties kompiuterio technologijas, reikalingas šioms strategijoms įgyvendinti.

Duomenų tinkleliai atmintyje

Atminties duomenų tinklelis (IMDG) kopijuoja disko duomenis iš RDBMS, NoSQL ar Hadoop duomenų bazių į RAM, kur apdorojimas vyksta be delsimo, kurį sukelia nuolatinis disko skaitymas ir rašymas. Įterptas tarp programos ir duomenų sluoksnių, atmintyje esantis duomenų tinklelis yra išdėstytas serverio mazgų grupėje ir dalijasi laisva grupės atmintimi ir procesoriumi. Nesvarbu, ar jis įdiegtas viešoje ar privačioje debesų aplinkoje, vietoje ar hibridinėje aplinkoje, atmintyje esančius duomenų tinklelius galima keisti paprasčiausiai pridedant naują mazgą prie sankaupos. Kai kurie atmintyje esantys duomenų tinklai gali palaikyti ANSI-99 SQL ir ACID operacijas, išplėstinį saugumą, mašininį mokymąsi ir „Spark“, „Cassandra“ ir „Hadoop“ vietines integracijas.

Duomenų tinklelis atmintyje yra paprastas ir ekonomiškas sprendimas esamoms programoms. Tačiau daugeliui atmintyje esančių duomenų tinklelių reikia, kad visi duomenys, esantys pagrindinėje diske esančioje duomenų bazėje, tilptų į atmintį, todėl verslas turi įsigyti pakankamai atminties visiems duomenims laikyti. Kadangi atmintis vis dar yra brangesnė už diską, daugelis įmonių gali norėti kai kuriuos duomenis laikyti tik diske. Naujos į atmintį orientuotos architektūros tai išsprendžia apdorodamos visą duomenų rinkinį, net jei dalis duomenų saugoma diske. Ši „nuolatinės saugyklos“ galimybė leidžia duomenų kiekiui viršyti atminties kiekį. Tai reiškia, kad duomenis galima optimizuoti, todėl visi duomenys yra diske, bet dažniau naudojami duomenys taip pat yra atmintyje, o retai naudojami duomenys tik diske. Kitas svarbus privalumas yra tai, kad po perkrovimo sistema su nuolatine saugykla gali nedelsdama pradėti apdoroti duomenų diske, nelaukdama, kol duomenų rinkinys bus įkeltas į atmintį.

„Workday“, „Financials“ ir „HR SaaS“ sprendimų teikėjas, aptarnaujantis „Fortune 50“ kompanijas, pasakojo apie tai, kaip jis naudoja atminties duomenų tinklelį, kad apdorotų apie 189 milijonus operacijų per dieną, pasiekdamas maždaug 289 milijonus per dieną. Palyginimui, „Twitter“ per dieną tvarko maždaug 500 milijonų „tweet“.

Duomenų bazė atmintyje

Duomenų bazė atmintyje (IMDB) geriausiai tinka naujoms ar perplanuotoms programoms. Tai visų funkcijų atskira duomenų bazė, veikianti atmintyje, palaikanti duomenų apdorojimo API, tokias kaip ANSI-99 SQL, raktų vertė, skaičiavimas ir mašininis mokymasis. Duomenų, esančių atmintyje, pranašumas, palyginti su atminties duomenų tinkleliu, yra tas, kad architektūra yra sumažinta nuo trijų sluoksnių (programos, atminties ir duomenų) iki dviejų. Trūkumas yra tas, kad jo negalima naudoti esamai programai be duomenų rinkinio pakėlimo ir perkėlimo iš esamos duomenų bazės. Be to, kadangi atmintyje esanti duomenų bazė tarnauja kaip įrašų sistema, sprendimas turi apimti duomenų apsaugos strategiją prastovos atveju. Ši strategija gali būti panaši į nuolatinę saugyklą, aptartą atminties duomenų tinkleliuose, arba ji gali apimti nepastovią RAM - naują technologiją, kuri ateityje greičiausiai atliks vis svarbesnį vaidmenį.

Šiandien pagrindinis bankas, turintis 135 mln. Klientų, naudoja atminties duomenų bazę su nuolatinėmis saugyklos galimybėmis, kad sukurtų žiniatinklio architektūrą, galinčią apdoroti iki 1,5 MB duomenų ir reikalingą operacijų apimtį. Šis sprendimas tarnauja kaip įrašų sistema ir nesėdi virš esamos duomenų parduotuvės.

Kompiuterinės atminties platformos

Organizacijos, kuriančios ilgalaikę strategiją, apimančios esamų programų spartinimą ir naujų diegimą, gali pasirinkti atminties kompiuterio platformą, kuri sujungia IMDG mastelį su visomis IMDB reliacinės duomenų bazės galimybėmis. Taigi atminties kompiuterio platforma gali būti naudojama esamoms programoms paspartinti arba būti naujų ar iš naujo parinktų programų, kurios gali pasinaudoti paskirstytojo skaičiavimo ir nuolatinės saugyklos pranašumais, kūrimo pagrindu.

Be to, kad organizacijos nuspręstų, kuri technologija geriausiai atitinka jų poreikius, jos turėtų apsvarstyti, ar joms reikia papildomų palaikančių atminties technologijų, tokių kaip:

  • Srautinės analizės variklis, skirtas valdyti visą duomenų srauto ir įvykių apdorojimo sudėtingumą.
  • Giliai besimokanti ir tęstinio mokymosi sistema, kuri bus pagrindas tam, ką „Gartner“ vadina proceso metu atliekamu HTAP (hibridinis operacijų / analitinis apdorojimas); tai yra galimybė realiuoju laiku pritaikyti mašininį mokymąsi arba išsamią mokymosi analizę operaciniams duomenims.

Kompiuterinės atminties technologiją dabar naudojasi pirmaujančios skaitmeninės įmonės, o ateityje jos bus dar plačiau naudojamos. Kuo greičiau išsiaiškinsite atminties skaičiavimo diegimo strategijas ir galimybes, tuo greičiau galėsite padėti savo organizacijai įgyti reikalingą konkurencinį pranašumą.

$config[zx-auto] not found$config[zx-overlay] not found