set spark.sql.adaptive.enabled=true;set spark.sql.adaptive.shuffle.targetPostShuffleInputSize=256000000;
参数优化
CK的优化参数非常多,除了基础的参数外,在二级索引调整为布隆过滤器后,写入CK的parts就比原来多了,在这个时候调整CK的parts参数 , 使其可以正常运行,但是这个参数会稍微影响一下CK查询的性能,对于我们来说 , 数据都放不进去,再查询也就没有用了 。
parts_to_delay_insert:200000
此外还可以添加background_pool_size参数(我们没有用) 。
Zookeeper优化
对于ClickHouse多分片多副本集群模式来说,Zookeeper是最大的性能瓶颈点 。
在不改动源码的情况下,我们做了如下的优化:
-
推荐阅读
- 大数据技术之HBase原理与实战归纳分享-中
- 巧用VBA实现:基于多个关键词模糊匹配Excel多行数据
- JuiceFS 元数据引擎选型指南
- Docker | 容器数据卷详解
- 如何优雅的备份MySQL数据?看这篇文章就够了
- 普通双非学子上岸浙大工程师数据科学项目 计算机保研,maybe this is all you need
- 大数据技术之HBase原理与实战归纳分享-上
- 07 ClickHouseClickHouse数据库引擎解析
- 使用EF Core更新与修改生产数据库
- Jupyter,Matplotlib,Pandas 【机器学习】利用 Python 进行数据分析的环境配置 Windows