OpenPAI：大規模人工智能集群管理平台
微軟亞洲研究院 2018年5月22日，在微軟舉辦的“新一代人工智能開放科研教育平台暨中國高校人工智能科研教育高峰論壇”上，微軟亞洲研究院宣布，攜手北京大學、中國科學技術大學、西安交通大學和浙江大學四所國內頂尖高校共建新一代人工智能開放科研教育平台，以推動中國人工智能領域科研與教育事業的發展 ...
原文：OpenPAI：大規模人工智能集群管理平台介紹及任務提交指南
產品淵源： 隨着人工智能技術的快速發展，各種深度學習框架層出不窮，為了提高效率，更好地讓人工智能快速落地，很多企業都很關注深度學習訓練的平台化問題。例如，如何提升GPU等硬件資源的利用率 如何節省硬件投入成本 如何支持算法工程師更方便的應用各類深度學習技術，從繁雜的環境運維等工作中解脫出來 等等。 產品定位： 為深度學習提供一個深度定制和優化的人工智能集群管理平台，讓人工智能堆棧變得簡單 快速 可 ...
2018-11-09 13:01 0 1418 推薦指數：
相關推薦
OpenPAI大規模人工智能平台安裝部署文檔
環境要求： 如果需要圖形界面，需要在Ubuntu系統安裝，否則centos系統安裝時是沒有問題的（web端和命令行進行任務提交） 安裝過程需要有另外一台控制端機器（注意：區別於集群所在的任何一台服務器！！！），控制端和集群服務器確保ssh服務開通 集群中個節點的賬戶和密碼確保一致 ...
大規模Elasticsearch集群管理心得
轉載：http://elasticsearch.cn/article/110 ElasticSearch目前在互聯網公司主要用於兩種應用場景，其一是用於構建業務的搜索功能模塊且多是垂直領域的搜索，數據量級一般在千萬至數十億這個級別；其二用於大規模數據的實時OLAP，經典的如ELKStack，數據 ...
人工智能機器學習：LightGBM訓練快、低內存、准確率高、支持並行化、可處理大規模數據
機器學習算法之LightGBM LigthGBM是boosting集合模型中的新進成員，由微軟提供，它和XGBoost一樣是對GBDT的高效實現，原理上它和GBDT及XGBoost類似，都采用損失函 ...
Rancher 和知乎超大規模多集群管理聯合實踐
源起 知乎是中文互聯網高質量的問答社區，每天有上千萬用戶在知乎分享知識、經驗和見解，找到自己的答案。為配合不同階段的業務發展需求，知乎容器平台也在不斷演進、提升，目前幾乎所有的業務都運行在容器上。 這兩年知乎開始使用 Rancher 管理 Kubernetes 集群，集群規模逐步達到近萬節點 ...
大規模集群管理工具Borg
Google的大規模集群管理工具Borg 概述 Google的Borg系統是一個集群管理工具，在它上面運行着成千上萬的job，這些job來自許許多多不同的應用，並且跨越多個集群，而每個集群又由大量的機器構成。 Borg通過組合准入控制，高效的任務打包，超額負載以及基於進程 ...
阿里雲上萬個 Kubernetes 集群大規模管理實踐
全球化架構和柔性架構的雲原生應用托管中台能力，管理了超過 1W 個以上的容器集群。本文將會介紹容器服務在 ...
02基於python玩轉人工智能最火框架之TensorFlow人工智能&深度學習介紹
人工智能之父麥卡錫給出的定義 構建智能機器，特別是智能計算機程序的科學和工程。 人工智能是一種讓計算機程序能夠"智能地"思考的方式 思考的模式類似於人類。 什么是智能？ 智能的英語是 Intelligence 推理，知識，規划，學習，交流，感知，移動和操作 ...