淘寶的技術架構
淘寶的技術架構一直在變的，分幾個階段： V1.0：小而快（2003.5 – 2004.5） 2003年淘寶誕生，用的是LAMP經典架構（linux+apache+mysql+php），后端用的是php語言 ...
原文：淘寶海量數據產品的技術架構
淘寶海量數據產品的技術架構是什么，又是如何應對雙十一的海量訪問的 先看圖： 按照數據的流向來划分，我們把淘寶數據產品的技術架構分為五層 如圖 所示 ，分別是數據源 計算層 存儲層 查詢層和產品層。位於架構頂端的是我們的數據來源層，這里有淘寶主站的用戶 店鋪 商品和交易等數據庫，還有用戶的瀏覽 搜索等行為日志等。這一系列的數據是數據產品最原始的生命力所在。 在數據源層實時產生的數據，通過淘寶自主研發 ...
2014-04-01 15:19 0 4938 推薦指數：
相關推薦
淘寶技術架構演進之路
1.概述 本文以淘寶為例，介紹從一百到千萬級並發情況下服務端架構的演進過程，同時列舉出每個演進階段遇到的相關技術，讓大家對架構的演進有一個整體的認知，最后匯總一些架構的設計原則。 2.基本概念 在介紹架構之前，為了避免讀者對架構設計中的一些概念不了解，下面對接個最基礎的概念進行介紹 ...
揭秘淘寶286億海量圖片存儲與處理架構
8月27日下午，在IT168系統架構師大會存儲與系統架構分論壇上，淘寶網技術委員會主席，淘寶網核心工程師章文嵩向我們詳細介紹了淘寶網圖片處理與存儲系統的架構。章文嵩博士的演講日程包括了淘寶的整個系統架構、淘寶圖片存儲系統架構，淘寶網獨立開發的TFS集群文件系統，前端CDN系統以及淘寶網在節能服務器 ...
高並發訪問和海量數據 大型網站架構技術一覽
高並發訪問和海量數據 大型網站架構技術一覽 林濤 發表於：2016-4-19 12:12 分類：WebServer 標簽：並發，海量數據，高並發 44次 大型網站的挑戰主要來自龐大的用戶，高並發的訪問和海量數據，任何簡單的業務一旦需要處理數以P計的數據和面對數以億計的用戶，問題就會 ...
關於海量用戶訪問的通用技術架構的一些思考
最近12306.cn網站事件引起了很多人對架構的思考。這種訪問量巨大的網站究竟該如何來做架構，下面是我的想法： 因為要考慮到通用拋開業務單純從技術層面分析，要承載海量用戶的訪問，要求網站高性能和高可用、安全可靠 、高可收縮性 、易於維護 等等一堆硬性的要求。對架構師來說 ...
股票分鍾數據存儲方案及海量數據架構方案
場景20億分鍾K線數據的更新及查找 1，了解數據使用情況 這些k線數據用於回測，而對於分鍾k線回測： 大部分回測周期在近幾個月或近幾年 熱門股票幾多滬深300、上證50等 分鍾回測需要一定的實時性既在開盤時間進行回測 ...
我的《海量數據處理與大數據技術實戰》出版啦！
我是如何持續寫作的？ 其實，關於寫作，我也沒多想，就是想着總結自己學習和工作中遇到的一些問題。我最開始寫文章並不是在CSDN或者其他的一些博客平台，而是在QQ空間。那時的我還在上學，在QQ空間里 ...
利用大數據技術處理海量GPS數據
我秀中國物聯網地圖服務平台目前接入的監控車輛近百萬輛，每天采集GPS數據7億多條，產生日志文件70GB，使用傳統的數據處理方式非常耗時。 比如，僅僅對GPS做一些簡單的統計分析，程序就需要幾個小時才能跑完一天的數據，完全達不到實時 ...