分享一個.NET平台開源免費跨平台的大數據分析框架.NET for Apache Spark


我們都知道Spark是一種流行的開源分布式處理引擎,適用於大型數據集(通常是TB級別)的分析。Spark可用於處理批量數據,實時流,機器學習和即時查詢。處理任務分布在一個節點集群上,數據被緩存在內存中,以減少計算時間。到目前為止,Spark已經可以通過Scala,Java,Python和R訪問,卻不能通過.NET進行訪問。

而.NET for Apache Spark就是旨在使.NET開發人員可以跨所有Spark API訪問Apache®Spark™。

.NET for Apache Spark為C#和F#提供了高性能的API來操作Spark。使用這個.NET API,您可以訪問Apache Spark的所有功能,包括SparkSQL、DataFrames、流、MLLib等等。.NET for Apache Spark允許您重用作為.NET開發人員已經擁有的所有知識、技能、代碼和庫。

C#/F#語言綁定到Spark將被寫入一個新的Spark交互層,這提供了更容易的擴展性。這一新的Spark交互層的編寫考慮了語言擴展的最佳實踐,並針對交互和性能進行了優化。長期來看,這種擴展性可以用於在Spark中添加對其他語言的支持。

具體請查看GitHub:https://github.com/dotnet/spark

 

定時分享DotNet Core 相關知識!

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM