原文:Hulu大規模容器調度系統Capos

Hulu是美國領先的互聯網專業視頻服務平台,目前在美國擁有超過 萬付費用戶。Hulu總部位於美國洛杉磯,北京辦公室是僅次於總部的第二大研發中心,也是從Hulu成立伊始就具有重要戰略地位的分支辦公室,獨立負責播放器開發,搜索和推薦,廣告精准投放,大規模用戶數據處理,視頻內容基因分析,人臉識別,視頻編解碼等核心項目。 在視頻領域我們有大量的視頻轉碼任務 在廣告領域當我們需要驗證一個投放算法的效果時, ...

2018-07-13 12:27 0 835 推薦指數:

查看詳情

騰訊會議大規模任務調度系統架構設計

騰訊會議大規模擴容,快手春節紅包流量洪峰:超大規模給雲計算系統帶來諸多挑戰。如何管理海量節點並持續提升可擴展性?如何保證復雜工作流的穩定執行和故障自愈?如何提供高可用、高性能、低成本的計算能力?本文是騰訊雲專家工程師李德鎧在「雲加社區沙龍online」的分享整理,為大家介紹騰訊會議大規模 ...

Tue May 12 00:31:00 CST 2020 0 844
Scheduled SQL: SLS 大規模日志上的全局分析與調度

簡介: 本文總結了大規模日志全局分析的需求,討論SLS上現有的典型分析方案,並延伸到 SLS 原生數據處理方案,介紹 Schedueld SQL 功能與最佳實踐。 大規模日志全局分析的需求 ...

Thu Jun 10 22:37:00 CST 2021 0 207
基於ZooKeeper大規模集群配置系統概述

基於ZooKeeper大規模集群配置系統概述 通常大型互聯網公司都擁有較大規模、結構復雜的服務器集群。隨着互聯網迅速發展,用戶訪問量以及服務器規模的越來越大,Web應用項目需要部署在數目眾多的服務集群上協同工作,才為用戶提供更可靠、穩定、優質的互聯網服務 ...

Sat Nov 05 02:54:00 CST 2011 1 15954
大規模分布式系統運維實踐

2013年,雲梯1實現空間優化與跨機房集群擴展,雲梯2單集群規模從1500台升級到5000台,同時跨集群擴展的5K項目順利取得階段性成果,阿里成為第一個獨立研發擁有這類大規模通用計算平台的公司。當時,雲梯1、雲梯2,再加上已上線的生產集群,阿里整體集群規模已超過萬台。迄今為止,全球范圍內 ...

Wed Jan 11 18:44:00 CST 2017 0 2093
大規模爬蟲流程總結

大規模爬蟲流程總結 爬蟲是一個比較容易上手的技術,也許花5分鍾看一篇文檔就能爬取單個網頁上的數據。但對於大規模爬蟲,完全就是另一回事,並不是1*n這么簡單,還會衍生出許多別的問題。 系統大規模爬蟲流程如圖所示。 先檢查是否有API API是網站官方提供的數據接口 ...

Fri Oct 20 18:43:00 CST 2017 1 7162
調度萬億次,微服務框架TSF大規模應用——雲+未來峰會開發者專場回顧

歡迎大家前往騰訊雲+社區,獲取更多騰訊海量技術實踐干貨哦~ 演講者:張浩 騰訊雲中間件產品負責人 背景:眾多開發者中,一定經歷類似的甜蜜煩惱,就是當線上業務規模越來越大,系統分支發展越來越多的時候,初期上線的成就感很快就會被系統間數據不兼容、不通暢,折磨得精疲力盡,每次模塊更新 ...

Fri Jun 01 17:06:00 CST 2018 0 1423
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM