Pandas处理超大规模数据
对于超大规模的csv文件，我们无法一下将其读入内存当中，只能分块一部分一部分的进行读取； 首先进行如下操作： import pandas as pd reader = pd.read_csv('data/servicelogs', iterator=True)分块，每一块是一个chunk ...
原文：如何利用Flink实现超大规模用户行为分析
如何利用Flink实现超大规模用户行为分析 各位晚上好，首先感谢大家参与我的这次主题分享，同时也感谢 InfoQ AI 前线组织这次瀚思科技主题月 瀚思科技成立于 年，按行业划分我们是一家安全公司。但和大家熟知的卖杀毒软件或者防火墙的传统安全公司不同。瀚思科技帮助各种中大型企业搭建安全大数据的分析平台，平台上应用的安全分析策略深度结合了多种机器学习算法，最终帮助企业定位与揭示各种安全问题。所以我 ...
2018-09-03 19:03 0 1123 推荐指数：
相关推荐
Rancher 和知乎超大规模多集群管理联合实践
源起 知乎是中文互联网高质量的问答社区，每天有上千万用户在知乎分享知识、经验和见解，找到自己的答案。为配合不同阶段的业务发展需求，知乎容器平台也在不断演进、提升，目前几乎所有的业务都运行在容器上。 这两年知乎开始使用 Rancher 管理 Kubernetes 集群，集群规模逐步达到近万节点 ...
DeepSpeed超大规模模型训练工具
DeepSpeed超大规模模型训练工具 2021年 2 月份发布了 DeepSpeed。这是一个开源深度学习训练优化库，包含的一个新的显存优化技术—— ZeRO（零冗余优化器），通过扩大规模，提升速度，控制成本，提升可用性，极大地推进了大模型训练能力。DeepSpeed 已经帮助研究人员，开发 ...
JuiceFS 如何帮助趣头条超大规模 HDFS 降负载
作者简介 王振华，趣头条大数据总监，趣头条大数据负责人。 王海胜，趣头条大数据工程师，10 年互联网工作经验，曾在 eBay、唯品会等公司从事大数据开发相关工作，有丰富的大数据落地经验。 ...
超大规模集成电路与系统设计 2021年考试
VLSI的期末考试是出了名的难的，网上也找不到之前的试题，分享一下21年考试的题目，有助于大家体会一下考核的难度，督促大家努力复习。另外附上自己的复习笔记，方便大家参考： 超大规模集成电路与系统设计 国科大 段成华 - -不负- - 博客园 (cnblogs.com ...
阿里巴巴超大规模中台型团队研发提效实践
简介： ALPD及云效DevOps平台在超大规模中台型团队如何进行研发效能提升 中台型团队效能提升遇到的挑战及应对策略 “数字供应链中台”支撑了阿里巴巴旗经济体30余个“大业务”，100余个“二级业务”；该中台团队由1000多人组成，分为26个域；来自不同行业的需求会被不同的行业PD ...
打造云原生大型分布式监控系统(四): Kvass+Thanos 监控超大规模容器集群
概述 继上一篇 Thanos 部署与实践 发布半年多之后，随着技术的发展，本系列又迎来了一次更新。本文将介绍如何结合 Kvass 与 Thanos，来更好的实现大规模容器集群场景下的监控。 有 Thanos 不够吗 ? 有同学可能会问，Thanos 不就是为了解决 Prometheus ...
【零基础】一文读懂CPU（从二极管到超大规模集成电路）
一、前言 我们都知道芯片，也知道芯片技术在21世纪是最重要的技术之一，但很少有人能知道芯片技术的一些细节，如芯片是如何构造的、为什么它可以运行程序、芯片又是如何被设计制造出来的等等。本文就尝试从最底层的二级管开始，逐一讲讲二极管、mos管、逻辑门电路、集成电路、大规模集成电路是如何逐步构造 ...