MongoDB分片键的选择和案例实例详解

  • A+
所属分类:MongoDB

前言

片键选择欠好,利用法式就无法应用分片集群所提供的诸多上风。在这种环境下,插入和查询的机能都邑明显降落。下决议时必定要严肃,一旦选择了分片键,就必需保持选择,分片键是弗成以改动的。要让分片键提供好的体验,部门源自相识怎样才算一个好的分片键

本文将具体先容关于MongoDB分片键的选择和案例,分享出来供年夜家参考进修,下面话不多说了,来一路看看具体的先容吧。

MongoDB版本:3.6

一、分片键种别

1.升序片键

升序片键例如:日期光阴字段、自增字段。

2.随机分发片键

随机分发片键例如:用户名、邮件名、UUID、MD5值或者是其它的一些没有纪律的值的列。

3.基于地位的片键

基于地位的片键例如:IP、经纬度、栖身地址等。

二、分片策略

1.规模分片

创立分片时,只在主分片上创立了一个块{ "大众username"大众 : { "大众$minKey"大众 : 1 } } -->> { "大众username"大众 : { "大众$maxKey"大众 : 1 } } on : rs-a Timestamp(1, 0)

至少得3个分歧的值才会进行块切分,雷同的值只会在一个分片块中。好比对一个name字段进行规模分区,假如一直往name字段插入"大众a"大众,那么它会一直存储主分片的{ "大众username"大众 : { "大众$minKey"大众 : 1 } } -->> { "大众username"大众 : { "大众$maxKey"大众 : 1 } }中,直到name呈现三个分歧的值,好比“a”,“b”,“c”这个时刻就会进行分片。当然这只是测试,实际中不会对这种粗粒度的字段零丁做分片。

2.hashed分片

创立分片时,默认在每个分片上创立了两个数据块。然则当前每个块上面是没稀有据的。

3.组合分片

组合分片是比拟好的一种分片的选择,好的组合分片可以同时办理热门和随机读IO问题。例如:

sh.shardCollection("大众test.bbbb"大众,{"大众username"大众:1,"大众_id"大众:1});

4.标签分片

好比对付一些日记非查询文档,可以经由过程标签将其只插入到某个分片中。例如

sh.addTagRange("大众test.log"大众,{ "大众_id"大众 : { "大众$minKey"大众 : 1 } }, { "大众_id"大众 : { "大众$maxKey"大众 : 1 } },"大众tag_rs-a"大众);

可以在config库中的tag文档中查看设置的标签信息。

use config

db.tags.find();

三、标签

可以经由过程标签将特定规模的数据在指定的分片中。

{ "大众_id"大众 : 18000 } -->> { "大众_id"大众 : 26000 }规模的数据保留到rs-a的分片上,这部门数据超过了两个数据块。

1.为分片指定tag

sh.addShardTag("大众rs-a"大众,"大众tag_rs-a"大众);

sh.addShardTag("大众rs-b"大众,"大众tag_rs-b"大众);

sh.addShardTag("大众rs-c"大众,"大众tag_rs-c"大众);

2.创立规矩

sh.addTagRange("大众test.person"大众,{ "大众_id"大众 : 18000 }, { "大众_id"大众 : 26000 },"大众tag_rs-a"大众);

数据{ "大众_id"大众 : 18000 } -->> { "大众_id"大众 : 26000 }已经被移动到了rs-a分片上。

四、分片案例

分片策略没有绝对的利害,针对分歧的营业场景选择分歧的分片策略。

1.分片情景

1.所有的分片读写都平均。

2.数据拜访平均,而不是随机性的拜访;因为新数据都是先在内存中创立,只管即便避免必要从磁盘拜访新数据。

3.只管即便避免因为数据块的数据移动导致数据从磁盘加载到内存中从而导致热数据被清算出内存。

4.组合字段分片可能会是抱负的分片计划。

分片键公式: {coarseLocality:1,search:1}

coarseLocality:应该是一个年夜粒度的局部字段。好比MONTH月份升序字段。

search:是一个常常用来查找的字段。

2.分片案例

案例1.使用日期字段、自增字段、光阴戳分片的问题

有一个网站阅读记载表,表中有一个createtime字段用来记载天天记载的插入光阴。

对付这类文档不太得当使用createtime字段作为分片字段,由于读写可能都邑集中在最新的分片上。使用自增字段也存在同样的问题

案例2.年夜粒度字段分片问题

有一个五年夜洲的用户文档表,表中有一个continent字段存储用户地点洲。

假如使用continent作为分片字段会存在以下几个问题:

1.分片的粒度太年夜了,会导致末了每一个分片的数据都异常的年夜并且没有再分的可能。并且也有可能会导致磁盘空间不够的环境。

2.可能会导致某个分片在某个光阴点的拜访量远弘远于其他分片。

案例3:使用月份和用户名进行组合分片

有一个用户操作记载聚拢,营业必要查询用户比来一个月操作记载。聚拢有month,userName键

使用{month:1,userName:1}分片情景如下:

month保证热数据优于内存。

userName:保证数据的随机性,避免集中过热问题。

存在的问题:对付新文档因为许多月份还不存在,会导致新数据都是往末了一个分片上面插入数据,存在热读写问题,末了经由过程平衡器对数据块进行移动。

数据测试

sh.shardCollection("大众test.news"大众,{"大众month"大众:1,"大众username"大众:1 });

----插入1月数据10万记载

for(var i=0;i<100000;i++){db.news.insert({"大众_id"大众:i,"大众month"大众:"大众1"大众,"大众username"大众:Math.random(),"大众createdate"大众:new Date()})}

----插入2月数据10万记载

for(var i=100000;i<200000;i++){ db.news.insert({"大众_id"大众:i,"大众month"大众:"大众2"大众,"大众username"大众:Math.random(),"大众createdate"大众:new Date()})}

新数据往一直往最末端的分片(rs-a)上插,由于这个时刻"大众month"大众:2在最年夜的分片上。 { "大众month"大众 : "大众1"大众, "大众username"大众 : 0.9258836896982892 } -->> { "大众month"大众 : { "大众$maxKey"大众 : 1 }, "大众username"大众 : { "大众$maxKey"大众 : 1 } } on : rs-a Timestamp(3, 1)

数据插入完之后平衡器将rs-c上的一个块分给了rs-a

----插入全体月份数据。

for(var a=1;a<13;a++)
{
for(var i=0;i<20000;i++){ db.news.insert({"大众month"大众:a,"大众username"大众:Math.random(),"大众createdate"大众:new Date()})}
}

保证每个月的数据都平均的散布到分歧的分片上,而且跟着光阴的推移旧的数据可能就不会被使用也不会被移动。

注意:这个案例比拟特殊,由于对付日记聚拢比拟旧的数据根本上是不会被查询的,以是借助了month键作为了分片键保证了热数据优先存储于内存,对付整张表都是热数据好比登入用户聚拢就不得当这种分片方式,hashed会更得当。

案例4:使用行列步队

行列步队不仅在容灾中异常的有效,并且在惯例的突发流量下也异常的有效。行列步队可以吸收短光阴内爆发的年夜量哀求。也可以把行列步队反过来用,即缓存MongoDB返回的成果。

好比:RabbitMQ

案例5:使用用户名和创立光阴进行组合分片

用户名:保证数据的随机性,避免热门问题

创立光阴:保证单个数据块过年夜问题

五、设计聚拢注意事变

1.聚拢的键数目应该是固定的,包含嵌套文档的数目都应该提前规划好。

2.只管即便都是做原子更新,而不是某个键的值受其它键值更新的影响。好比num1,num2,total假如num键的值是常常会被更新的那么这种设计就欠好,由于total也要对应随着变,而mongodb自己计算才能就很弱。

总结

以上便是这篇文章的全体内容了,愿望本文的内容对年夜家的进修或者事情具有必定的参考进修代价,假如有疑问年夜家可以留言交流,谢谢年夜家对剧本之家的支撑。

您可能感兴致的文章:

深刻懂得MongoDB分片的治理Mongodb 删除添加分片与非分片表维护MongoDB的分片集群根本设置装备摆设教程MongoDB分片测试mongodb3.4集群搭建实战之高可用的分片+副本集MongoDB入门教程之分片技术详解MongoDB分片详解mongodb分片技术_动力节点Java学院整顿详解MongoDB4.0构建散布式分片群集MongoDB分片在部署与维护治理中常见的事变总结年夜全

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: