„Microsoft“ ir „.NET Foundation“ išleido .NET versiją 1.0, skirtą „Apache Spark“ - atvirojo kodo paketui.
Paskelbta spalio 27 d. .NET for Apache Spark 1.0 palaiko .NET programas, nukreipiančias į .NET Standard 2.0 ar naujesnę versiją. Vartotojai gali pasiekti „Spark DataFrame“ API, rašyti „Spark SQL“ ir kurti vartotojo apibrėžtas funkcijas UDF).
„.NET for Apache Spark“ sistemą galite rasti „.NET Foundation“ puslapyje „GitHub“ arba „NuGet“. Kitos „Apache Spark 1.0“ .NET funkcijos yra:
- API plėtinio sistema, skirta palaikyti papildomas „Spark“ bibliotekas, įskaitant „Linux Foundation Delta Lake“, „Microsoft OSS Hyperspace“, ML.NET ir „Apache Spark MLlib“ funkcionalumą.
- .NET „Apache Spark“ programoms, kurios nėra UDF, rodo tokį patį greitį kaip „Scala“ ir „PySpark“ pagrįstos ne UDF programos. Jei programose yra UDF, „Apache Spark“ programų .NET yra bent jau greitesnis nei „PySpark“ programos arba gali būti greitesnis.
- .NET for Apache Spark yra integruotas į „Azure Synapse“ ir „Azure HDInsight“. Jis taip pat gali būti naudojamas kituose „Apache Spark“ debesies pasiūlymuose, įskaitant „Azure Databricks“.
Pirmoji viešoji projekto versija buvo paskelbta 2019 m. Balandžio mėn.. „Apache Spark“ .NET kūrimas paskatino didesnį poreikį lengviau kurti didžiųjų duomenų programas, užuot mokiusi „Scala“ ar „Python“. Projektas valdomas .NET fondo ir buvo pateiktas kaip „Spark“ projekto tobulinimo pasiūlymas, kurį reikia tiesiogiai įtraukti į „Apache Spark“ projektą.
Žvelgiant į ateitį, „Microsoft“ šalina kliūtis, įskaitant išankstinių sąlygų ir priklausomybių nustatymą bei kokybiškos dokumentacijos paiešką, pateikdama tokių pavyzdžių kaip bendruomenės pateikti „paruošti paleisti“ „Docker“ vaizdai ir „.NET for Apache Spark“ dokumentacijos atnaujinimai. Kitas prioritetas yra diegimo parinkčių palaikymas, įskaitant integravimą su CI / CD išvedimo vamzdynais ir darbų skelbimą tiesiogiai iš „Visual Studio“.
