spring boot 向数据库写入海量数据
用户量数据测试，用于将初始化海量数据到数据库 一、环境配置 spring boot + mybatis + mysql 数据库信息 pom.xml 依赖 View Code application.yml 用户实体 ...
原文：测试cephfs写入海量文件
前言 测试cephfs的写入大量文件，通过mdtest写入 K大小的文件 亿个，每个目录里面文件为 万，目录总数为 万，总文件数目就为 亿了 写入的命令 C 只创建 F 只创建文件 L 只在叶子层目录创建文件 z 目录深度层级为 b 每个树下面子目录为 I 指定目录里面的文件数目 w指定文件大小为 K 每层的目录数目 ， ， ， ， 统计写入的情况 通过扩展属性统计 参数解析 mds内存占用统计 ...
2020-09-22 16:23 0 573 推荐指数：
相关推荐
通过BulkLoad的方式快速导入海量数据
原理及MapReduce的特性来快速导入海量的数据 HBase数据在HDFS下是如 ...
013 CephFS文件系统
一、Ceph文件系统简介 CephFS提供兼容POSIX的文件系统，将其数据和与那数据作为对象那个存储在Ceph中 CephFS依靠MDS节点来协调RADOS集群的访问 元数据服务器 MDS管理元数据（文件的所有者、时间戳和模式等），也负责缓存元数据访问权限，管理客户端缓存来维护缓存一致性 ...
ceph集群之cephFS文件存储
目录 一、cephFS简介 二、部署MDS 三、创建cephfs文件系统 3.1 创建pool 3.2 创建文件系统 3.3 确认mds进入active状态 3.4 cephfs内核级别挂载 3.5 用户空间挂载使用 ...
Jmeter之写入测试结果到Excel文件
在jmter测试过程中，有时候需要将测试结果写入到excel文件，最近通过柠檬班学习到相关方法，下面将将相关方法整理，方便以后使用； jmeter写结果到excel文件，需要通过调用java方法实现，分为3步： 1）下载excel依赖包jxl.jar 下载地址： 链接：https ...
cephfs文件系统场景
创建cephfs文件系统： [cephfsd@ceph-admin ceph]$ cd /etc/ceph [cephfsd@ceph-admin ceph]$ ceph fs ls No filesystems enabled # 创建三个mds [cephfsd@ceph-admin ...
mysql横向和纵向合并sql数据用于展示，快递导出导入海量数据
2020年3月11日12:03:47 MySQL版本5.7 使用 UNION 纵向合并两个sql的结果 ！注意如果上下sql的结果列数要一致不然就会出错 ...
es6.5的海量数据写入
最近在做es集群的海量数据写入，公司的数据量比较大，日均增量达到了5亿+，有将近150G的数据，这对es来说，如果用默认的设置和常规的写入简直无法完成，哪怕写进去了，也是大量重复，数据丢失，基本写不进去。 es的写入方式有很多种，可以通过logstach直接写入，可以通过api接口写入 ...