问题 使用pyppeteer爬取数据时，goto指定页面报错pyppeteer.errors.PageError: net::ERR_CERT_AUTHORITY_INVALID，通过抓包请求过程如 ...

背景 数据列不固定，每次全量覆盖数据到Mysql，涉及到数据表结构的变更，需要调整自动创建数据表结构 方案1：DataFrameWriter.jdbc 使用spark原生提供的DataFrame ...

背景 需要创建数据全字段索引，因此把带检索数据列以内嵌文档的方式写入，在内嵌文档上加索引，加速查询 方案1：内嵌文档上加索引 数据存储格式如下： 在内嵌文档info上创建索引，并测试查询是 ...

callback执行异常处理 如果Request请求成功后，在解析文本时异常，如下所示： 如果是代码错误或者页面改版，重新适配即可，但如果是由于限流规则导致被转发到限流页面，就需要捕获异常进行 ...