ck的表分片规则

ck的表分片规则一、核心分片规则分类（按策略）ClickHouse的分片规则本质是“分片键计算结果映射到分片节点”，主流规则分以下4类，覆盖99%的业务场景：1.哈希分片（最常用）规则逻辑：对分片键做哈希运算（CRC32/MD5），取模分片数量，映射到对应节点。适用场景：用户ID、订单ID、设备ID等唯一标识类字段，追求数据均匀分布。核心配置示例：sql--创建分布式表时指定哈希分片CREATETABLEdist_orderONCLUSTERck_cluster(order_idUInt64,user_idUInt32,amountDecimal(10,2))ENGINE=Distributed(ck_cluster,default,order_local,intHash64(order_id));--分片键：order_id，哈希函数：intHash64（ClickHouse内置高效哈希）关键特点：数据均匀分布，避免单分片热点；分片键查询时能精准路由（如whereorder_id=123仅查对应分片）；不支持范围查询的精准路由（如order_idbetween100and200会查所有分片）。2.范围分片（按区间）规则逻辑：按分片键的数值范围划分分片，如[0,10000)到分片1，[10000,20000)到分片2。适用场景：时间戳、自增ID、地区编码等有连续范围特征的字段，适合按范围查询。核心配置示例（需结合自定义分片函数）：sql--自定义分片函数：按create_time（Unix时间戳）按月分片CREATEFUNCTIONshard_by_create_timeAS(create_time)->toInt32(toYYYYMM(toDateTime(create_time)))%8;--8个分片--创建分布式表CREATETABLEdist_logONCLUSTERck_cluster(log_idUInt64,create_timeUInt32,contentString)ENGINE=Distributed(ck_cluster,default,log_local,shard_by_create_time(create_time));关键特点：范围查询（如create_timebetween1704067200and1706745600）仅查对应分片；需提前规划范围，避免数据倾斜（如某月份数据量远大于其他月份）。3.随机分片（轮询）规则逻辑：不依赖分片键，数据随机/轮询分配到各分片。适用场景：无明显分片键、数据写入频率高且无需精准路由的场景（如日志临时表）。核心配置示例：sqlCREATETABLEdist_temp_logONCLUSTERck_cluster(idUInt64,contentString)ENGINE=Distributed(ck_cluster,default,temp_log_local,rand());--rand()随机分片关键特点：数据天然均匀，但查询时需扫描所有分片；性能最差（无路由优化），仅适合临时/低查询量表。4.自定义分片（按业务规则）规则逻辑：根据业务自定义函数映射分片，如按地区编码映射到对应机房分片。适用场景：多地域部署、多租户隔离等个性化需求。核心配置示例：sql--自定义分片函数：按省份编码映射分片CREATEFUNCTIONshard_by_provinceAS(province_code)->CASEprovince_codeWHEN'11'THEN0--北京→分片0WHEN'31'THEN1--上海→分片1WHEN'44'THEN2--广东→分片2ELSE3--其他→分片3END;--创建分布式表CREATETABLEdist_userONCLUSTERck_cluster(user_idUInt64,province_codeString,nameString)ENGINE=Distributed(ck_cluster,default,user_local,shard_by_province(province_code));关键特点：高度适配业务，但需保证函数逻辑稳定（避免分片映射规则变更）。二、分片规则设计核心原则均匀性优先：无论哪种规则，首要保证数据在各分片均匀分布，避免单分片数据量/查询压力过大；查询适配：分片键需与高频查询条件一致（如高频查user_id则用user_id哈希分片）；不可变原则：分片键字段不能更新（如订单ID哈希分片后，订单ID不能修改），否则数据分片映射失效；分片数量固定：集群分片数量确定后尽量不调整，否则需重新分片（成本极高）。三、分片规则生效逻辑写入数据提取分片键值执行分片函数/哈希运算计算分片索引（0~N-1）映射到对应分片节点写入该节点的本地表写入数据提取分片键值执行分片函数/哈希运算计算分片索引（0~N-1）映射到对应分片节点写入该节点的本地表四、常见误区用非唯一字段（如状态字段）做哈希分片：易导致数据倾斜（如“已支付”状态占90%数据）；分片键过多：仅需1个核心分片键，多字段会增加计算成本且无法精准路由；范围分片边界不合理：如按天分片但某天数据量突增，导致单分片过载