數據庫的發展和展望


  數據庫的發展是伴隨着計算機體系架構的發展而不斷演進的,從主機,到個人電腦 + 網絡(x86),到現在的雲服務,數據庫也經歷了一系列的演化歷程。

  

 

  a. 主機時代

  最初的計算機和數據庫只是在航空航天、軍事領域使用,只需要支持專業的數據分析人員進行數據分析。到了上世紀 70 年代末,伴隨着計算機進入更多商業場景,大量數據分析的需求產生了,數據庫則需要面對更為普遍的用戶需求。在 IBM 最早發布的關系型數據庫的論文中,最強調的一點就是希望能夠讓數據庫的用戶不用再去操心數據應該如何存儲和組織,而能夠高效率使用這些數據進行分析。

  為了方便用戶的使用,SQL(結構化查詢語言)被定義了出來,按照這樣的語法,數據庫用戶只需要關注數據該如何分析,不需要關注底層的數據分布和存儲等。

  為了要支持大量用戶的並發數據操作,數據庫事務特性被定義了出來,保證在並發的數據操作下,用戶能夠看到符合業務邏輯的數據內容。

  為了保證數據庫的高效率和安全性,數據庫重做日志(事務日志)被設計出來,包括當前數據庫中經常出現的一系列概念,比如回滾日志(undo log)、提交日志(commit log)、檢查點(checkpoint)等等。

  主機時代的硬件成本極其昂貴,不論是存儲、內存還是CPU資源,相對來說都很稀缺。那么,數據庫在設計和使用上就會采用各種算法和架構來降低對內存的使用,減少數據的冗余,提高數據的檢索效率。因此,各種數據索引類型,功能強大的查詢優化器,數據緩存算法等在數據庫中得到了極大的發展。同時在使用數據庫時,也要對數據進行各種復雜的模型設計(三范式模型、星型模型、雪花型模型等等)以降低數據的冗余程度,當然,這樣也會增加數據庫應用的開發難度。

  b. x86 時代

  伴隨着 x86 服務器的廣泛使用和網絡技術的發展,把 N 台 x86 服務器通過網絡組建成一個集群,利用這個集群的計算、存儲能力來取代昂貴的主機也就更加具有性價比。在這種趨勢下,也就設計出了各種能夠使用集群能力的分布式數據庫系統,這些系統的核心思想就是把數據分散在不同的節點上,利用多個節點的計算和存儲資源提高對數據的存儲和分析能力。在分布式的處理架構下,數據一致性協議、多副本機制、高可用機制、數據分片機制、擴容/縮容機制等等也都成為了分布式數據庫必須要設計和解決的問題。

  在 x86 時代,由於硬件成本的大幅下降,用戶更多關注數據分析的靈活性和交付的效率。因此,使用數據庫時更多會關注如何加快數據分析的過程、如何讓數據更易於人類理解,而不需要為了降低數據的冗余而進行復雜的模型構建。

  c. 雲時代鄭州看心理醫生多少錢http://www.hyde8025.com/

  隨着技術的進一步發展,通過把傳統硬件虛擬化/容器化等技術,提高硬件資源的使用效率,降低生產運維成本的雲服務被越來越多企業采用。為了更好地適應雲服務的技術體系,數據庫也設計出了相關的雲特性,比如存儲計算分離、彈性伸縮、微服務化、跨域數據同步等等。

  雲時代,用戶更加關注數據分析的效率和投入產出比,更加關注產品是否能夠提供便利的一體化數據處理服務,讓業務開發者能夠更加專注於業務本身,而數據庫服務也在朝着標准化雲服務的方向不斷演進。

  d. 展望

  不同的數據庫架構和部署方式不是一個簡單的迭代和取代的關系,而是在很長一段時間里會同時存在並且逐步迭代的過程。時至今日,依然有不少金融機構會選擇使用在主機上的數據庫產品,只是新的業務和場景非常有限。而基於 x86 服務器的數據處理產品,還是當前企業數據庫的主流選擇。與此同時,雲數據庫的市場份額也在逐步增長和擴大。采用何種數據庫產品要根據自身的業務需求來決定,合適的就是最好的。當然從技術演進的方向上看,雲技術(包括公有雲和私有雲)會是大勢所趨,因為雲能夠提供更高的效率。

  數據庫作為信息產業的三大基礎技術(還有芯片和操作系統)之一,在相當長的時間里,不論從資本還是技術方面都非常火熱,國內近幾年來也出現了相當多優秀的數據庫產品和企業。在人類邁向數字化文明的進程中,必定會產生越來越多的數據,也需要從數據中挖掘出更多的價值,而數據庫作為承載數據的核心,也必將持續發揮重要作用。有幸一直在從事這個領域的工作,期待與廣大同仁一道為人類數字化技術的進步貢獻力量。

  Zilliz 以重新定義數據科學為願景,致力於打造一家全球領先的開源技術創新公司,並通過開源和雲原生解決方案為企業解鎖非結構化數據的隱藏價值。 Zilliz 構建了 Milvus 向量數據庫,以加快下一代數據平台的發展。 Milvus 數據庫是 LF AI & Data 基金會的畢業項目,能夠管理大量非結構化數據集,在新葯發現、推薦系統、聊天機器人等方面具有廣泛的應用。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM