最近两天研究spark直接读取hbase数据，并将其转化为dataframe。之所以这么做， 1、公司的数据主要存储在hbase之中 2、使用dataframe，更容易实现计算。 尽管hbase的官方已经提供了hbase-spark 接口，但是并未对外发布，而且目前的项目 ...

1、构造函数format：将单个变量从str转为float def format(value): value = float(value) return value 2、用apply函数将format应用于series所有的值 data.apply(format) ...

1、pandas数据的读取 pandas需要先读取表格类型的数据，然后进行分析 数据说明 说明 pandas读取方法 csv、tsv、txt 用逗号分割、tab分割的纯文本文件 pd.read_csv ...

Series 从 numpy 数组创建，并指定索引值 如果没有指定索引，则默认会创建从 0 到 N-1 的数组作为索引值，这里的 N 是 Series 的长度（即它所包含的元素个数）： 通过索引访问元素 从字典中创建 字典中的键将会作为索引值，字典中的值将会作为元素值 ...

方法：直接pd.DataFrame(dict)或pd.DataFrame.from_dict(dict) 但是，一个key只有一个value的字典如果直接转化成数据框会报错： 如下两种方法可达成目标。 1. 将字典转换成Series，将Series转换成dataframe，并将 ...

series数据操作 增 查 改 删 算术运算符 add　　加（add） sub　　减（substract） div　　除（divide） mul　　乘（multiple） DataFrame ...

一、Series Pandas的核心是三大数据结构：Series、DataFrame和Index。绝大多数操作都是围绕这三种结构进行的。 Series是一个一维的数组对象，它包含一个值序列和一个对应的索引序列。 Numpy的一维数组通过隐式定义的整数索引获取元素值，而Series用一种显式定义 ...

在SQL语言中去重是一件相当简单的事情，面对一个表（也可以称之为DataFrame）我们对数据进行去重只需要GROUP BY 就好。 1.DataFrame去重 但是对于pandas的DataFrame格式就比较麻烦，我看了其他博客优化了如下三种方案。 我们先引入 ...