OpenPAI：大规模人工智能集群管理平台
微软亚洲研究院 2018年5月22日，在微软举办的“新一代人工智能开放科研教育平台暨中国高校人工智能科研教育高峰论坛”上，微软亚洲研究院宣布，携手北京大学、中国科学技术大学、西安交通大学和浙江大学四所国内顶尖高校共建新一代人工智能开放科研教育平台，以推动中国人工智能领域科研与教育事业的发展 ...
原文：OpenPAI：大规模人工智能集群管理平台介绍及任务提交指南
产品渊源： 随着人工智能技术的快速发展，各种深度学习框架层出不穷，为了提高效率，更好地让人工智能快速落地，很多企业都很关注深度学习训练的平台化问题。例如，如何提升GPU等硬件资源的利用率 如何节省硬件投入成本 如何支持算法工程师更方便的应用各类深度学习技术，从繁杂的环境运维等工作中解脱出来 等等。 产品定位： 为深度学习提供一个深度定制和优化的人工智能集群管理平台，让人工智能堆栈变得简单 快速 可 ...
2018-11-09 13:01 0 1418 推荐指数：
相关推荐
OpenPAI大规模人工智能平台安装部署文档
环境要求： 如果需要图形界面，需要在Ubuntu系统安装，否则centos系统安装时是没有问题的（web端和命令行进行任务提交） 安装过程需要有另外一台控制端机器（注意：区别于集群所在的任何一台服务器！！！），控制端和集群服务器确保ssh服务开通 集群中个节点的账户和密码确保一致 ...
大规模Elasticsearch集群管理心得
转载：http://elasticsearch.cn/article/110 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如ELKStack，数据 ...
人工智能机器学习：LightGBM训练快、低内存、准确率高、支持并行化、可处理大规模数据
机器学习算法之LightGBM LigthGBM是boosting集合模型中的新进成员，由微软提供，它和XGBoost一样是对GBDT的高效实现，原理上它和GBDT及XGBoost类似，都采用损失函 ...
Rancher 和知乎超大规模多集群管理联合实践
源起 知乎是中文互联网高质量的问答社区，每天有上千万用户在知乎分享知识、经验和见解，找到自己的答案。为配合不同阶段的业务发展需求，知乎容器平台也在不断演进、提升，目前几乎所有的业务都运行在容器上。 这两年知乎开始使用 Rancher 管理 Kubernetes 集群，集群规模逐步达到近万节点 ...
大规模集群管理工具Borg
Google的大规模集群管理工具Borg 概述 Google的Borg系统是一个集群管理工具，在它上面运行着成千上万的job，这些job来自许许多多不同的应用，并且跨越多个集群，而每个集群又由大量的机器构成。 Borg通过组合准入控制，高效的任务打包，超额负载以及基于进程 ...
阿里云上万个 Kubernetes 集群大规模管理实践
全球化架构和柔性架构的云原生应用托管中台能力，管理了超过 1W 个以上的容器集群。本文将会介绍容器服务在 ...
02基于python玩转人工智能最火框架之TensorFlow人工智能&深度学习介绍
人工智能之父麦卡锡给出的定义 构建智能机器，特别是智能计算机程序的科学和工程。 人工智能是一种让计算机程序能够"智能地"思考的方式 思考的模式类似于人类。 什么是智能？ 智能的英语是 Intelligence 推理，知识，规划，学习，交流，感知，移动和操作 ...