奇点云数据中台技术汇(一) | DataSimba——企业级一站式大数据智能服务平台
在这个“数据即资产”的时代，大数据技术和体量都有了前所未有的进步，若企业能有效使用数据，让数据赚钱，这必将成为企业数字化转型升级的有力武器。 奇点云自研的一站式大数据智能服务平台——DataSimba，旨在提供数据采集、数据加工、数据治理、数据规范、数据资产、数据服务等全链路的产品+技术 ...
原文：数据中台技术汇（二）| DataSimba系列之数据采集平台
继上期数据中台技术汇栏目发布DataSimba 企业级一站式大数据智能服务平台，本期介绍DataSimba的数据采集平台。 DataSimba采集平台属于DataSimba的数据计算及服务平台的一部分， 负责数据的导入， 从而支持上层的数据处理。DataSimba的定位是面向企业私有化部署，决定了采集平台面临要解决的问题和传统的互联网公司不太一样： 企业使用的数据库类型多且杂， 包括很多非主流的 ...
2019-05-21 09:43 0 1188 推荐指数：
相关推荐
网页数据采集 - 系列之Flash数据采集
经常看到一些朋友在讨论如何采集flash中的数据，讨论来讨论区，结论就是：flash不能采集，其实也不总是这样。本篇就跟大家分享如何采集flash中的数据。 在开始之前，先说明一下：一般来说flash中的数据是不能被现有技术很容易采集到的，但是也不能谈flash色变，要具体问题具体分析 ...
大数据平台的数据采集
大数据平台的数据采集 数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。 在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中 ...
web数据采集核心技术分享系列（一）做一个强大的web数据采集系统，你需要什么?
目录： web数据采集核心技术分享系列（一）做一个强大的web数据采集系统，你需要什么? web数据采集核心技术分享系列（二）如何提取信息？字符串？正则？xpath？xslt？自定义？...什么才是王道? web数据采集核心技术分享系列（三）如何破解验证码？图像分析？特征匹配？人工智能 ...
通用数据采集平台，从架构到代码
需求场景还原 国内某二线城市某科技公司，项目、产品繁多，软硬件通吃。硬件大牛H，软件新人S，研发BOSS： H：BOSS，这两天刚刚搞出个采集电参数的模块，能不能安排人做个简单的测试程序，就是一个串口，电脑上看一下数据就行，很简单的； BOSS：可以，小S，你把老H这个功能实现下，在我原来 ...
数据中台不是技术平台，没有标准架构！
2019 年，一场组织变革的风暴席卷了阿里、腾讯、百度、京东等国内互联网公司，在未来的转型计划中，他们不约而同地提到了一个词——数据中台，甚至表示将数据中台上升为核心方向，并基于此做了企业组织架构调整。 世间诸事大抵如此，火爆的东西总是容易被模仿、被跟风，所以当“数据中台”的热风吹起时 ...
工业数据采集
来源：https://mp.weixin.qq.com/s/EqpNkJXPKdtqxORmJ6DziQ 自动化设备品牌类型繁多，厂家和数据接口各异，国外厂家本地支持有限，传统人工操作设备仍在使用等导致数据采集一直困扰着所有制造工厂，只要还有其他人工参与环节，这些数据就不完整。 一、工业 ...
基于Java的数据采集（一）
之前写过2篇关于PHP数据采集入库的文章： 基于PHP数据采集入库（一）：http://www.cnblogs.com/lichenwei/p/3872307.html 基于PHP数据采集入库（二）：http://www.cnblogs.com/lichenwei/p/3873281.html ...