我們都知道Spark是一種流行的開源分布式處理引擎,適用於大型數據集(通常是TB級別)的分析。Spark可用於處理批量數據,實時流,機器學習和即時查詢。處理任務分布在一個節點集群上,數據被緩存在內存中,以減少計算時間。到目前為止,Spark已經可以通過Scala,Java,Python和R訪問,卻不能通過.NET進行訪問。
而.NET for Apache Spark就是旨在使.NET開發人員可以跨所有Spark API訪問Apache®Spark™。
.NET for Apache Spark為C#和F#提供了高性能的API來操作Spark。使用這個.NET API,您可以訪問Apache Spark的所有功能,包括SparkSQL、DataFrames、流、MLLib等等。.NET for Apache Spark允許您重用作為.NET開發人員已經擁有的所有知識、技能、代碼和庫。
C#/F#語言綁定到Spark將被寫入一個新的Spark交互層,這提供了更容易的擴展性。這一新的Spark交互層的編寫考慮了語言擴展的最佳實踐,並針對交互和性能進行了優化。長期來看,這種擴展性可以用於在Spark中添加對其他語言的支持。
具體請查看GitHub:https://github.com/dotnet/spark
定時分享DotNet Core 相關知識!