title: MongoDB分片副本集生产环境部署(Windows版本)
date: 2022-10-29 17:21:11
tags:
- 运维
系统架构
配置环境
- 系统都是windows 10 专业版，使用VMWare安装作为实验环境
- MongoDB版本为6.0.2
架构图
部署架构：
访问流程：
架构说明
-
Mongos是用户和集群之间的交互点，实际上mongos应该和客户端部署在同一台服务器上(重点!!，参考最后一节中的参考文章3) -
集群的配置文件是部署在
ConfigServer中的 -
ShardServer是存储数据的节点，是一主一从一仲裁，主节点负责写，从节点负责读，仲裁节点只负责在主节点挂掉之后投票的，不会存储数据，因此整个分片复制集都是高可用状态 -
ConfigServer是配置节点，为一主二从，节点数量必须为3个，否则一个挂掉之后会变成只读？（不确定，官网推荐的是必须是奇数） -
以上配置属于最低配置，如果服务器有富余的话建议每一个主从节点都单独部署，从而达到最高吞吐量
-
以上部署了两个分片，每个分片都是一个副本集，且注意一个副本集内的节点不能有两个在同一个主机上，否则宕机的话会一起挂掉
部署流程
安装MongoDB
- mongodb下载地址：https://www.mongodb.com/try/download/community，选择zip压缩包
- mongosh下载：https://www.mongodb.com/try/download/shell，6.0之后不会自带mongoshell，因此需要自己下载对应的工具包然后解压缩到mongodb的bin目录下
- mongocompass：https://www.mongodb.com/try/download/compass，mongodb的gui连接工具，如果用的其它的工具也可以跳过这个
配置Shard1分片主节点
新建文件夹如下：
配置文件内容为：
dbpath=C:\mongodb\shard1\data
logpath=C:\mongodb\shard1\log\shard1.log
journal=true
port=20001
replSet=shard1
bind_ip=0.0.0.0 # 必须加,否则连不上
运行并安装成服务，以管理员运行如下命令：
mongod -config C:\mongodb\shard1\shard1_primary.conf --install –serviceName MongoDBShard1Primary -serviceDisplayName MongoDBShard1Primary
配置Shard2分片主节点
创建对应文件夹：
配置文件内容：
dbpath=C:\mongodb\shard2\data
logpath=C:\mongodb\shard2\log\shard2.log
journal=true
port=30001
replSet=shard2
bind_ip=0.0.0.0 # 必须加,否则连不上
管理员运行如下命令：
mongod -config C:\mongodb\shard2\shard2_primary.conf --install –serviceName MongoDBShard2Primary -serviceDisplayName MongoDBShard2Primary
配置ConfigServer主节点
新建文件夹如下：
配置文件内容如下：
dbpath=C:\mongodb\configserver\data
logpath=C:\mongodb\configserver\log\config.log
journal=true
port=40001
replSet=config-server
bind_ip=0.0.0.0 # 必须加,否则连不上
configsvr=true
管理员运行如下命令：
mongod -config C:\mongodb\configserver\config_primary.conf --install –serviceName MongoDBConfigPrimary -serviceDisplayName MongoDBConfigPrimary
设置完成之后到任务管理器把三个服务都启动，服务状态变成正在运行则说明一切正常：
这时候我们第一台服务器就配好了，mongos我们先暂时不配置，要等所有都配置完成了再弄
配置Shard1从节点
和配置Shard1的主节点一模一样，在主机2上新建好文件夹，配置文件也是一样的，运行如下命令安装从节点服务：
mongod -config C:\mongodb\shard1\shard1_secondary.conf --install –serviceName MongoDBShard1Secondary -serviceDisplayName MongoDBShard1Secondary
配置Shard2仲裁节点
和配置Shard2的主节点一模一样，在主机2上新建好文件夹，配置文件也是一样的，运行如下命令安装仲裁节点服务：
mongod -config C:\mongodb\shard2\shard2_arb.conf --install –serviceName MongoDBShard2Arb -serviceDisplayName MongoDBShard2Arb
配置ConfigServer从节点
和配置ConfigServer的主节点一模一样，在主机2上新建好文件夹，配置文件也是一样的，运行如下命令安装从节点服务：
mongod -config C:\mongodb\configserver\config_secondary.conf --install –serviceName MongoDBConfigSecondary -serviceDisplayName MongoDBConfigSecondary
以上3个配置完成之后，同样的在任务管理器内运行服务，下面是截图：
配置Shard1仲裁节点
和配置Shard1的主节点一模一样，在主机3上新建好文件夹，配置文件也是一样的，运行如下命令安装仲裁节点服务：
mongod -config C:\mongodb\shard1\shard1_arb.conf --install –serviceName MongoDBShard1Arb -serviceDisplayName MongoDBShard1Arb
配置Shard2从节点
和配置Shard2的主节点一模一样，在主机3上新建好文件夹，配置文件也是一样的，运行如下命令安装从节点服务：
mongod -config C:\mongodb\shard2\shard2_secondary.conf --install –serviceName MongoDBShard2Secondary -serviceDisplayName MongoDBShard2Secondary
配置ConfigServer从节点
和配置ConfigServer的主节点一模一样，在主机3上新建好文件夹，配置文件也是一样的，运行如下命令安装仲裁节点服务：
mongod -config C:\mongodb\configserver\config_arb.conf --install –serviceName MongoDBConfigArb -serviceDisplayName MongoDBConfigSecondary
同样的，主机3也全都配置好了，运行相应的服务：
配置副本集
这一步我们要把Shard1、Shard2、ConfigServer三个部分的副本集都配置好，首先在主机1上运行如下命令：
mongo -port 20001 # 进入shard1主节点
use admin #进入管理员数据库
config = {
_id : "shard1",
configsvr: false,
version: 1,
members : [
{ _id : 0 , host : "192.168.137.128:20001" },
{ _id : 1 , host : "192.168.137.134:20001" },
{ _id : 2 , host : "192.168.137.133:20001" , arbiterOnly : true},
]
}
rs.initiate(config) # 初始化shard1集群
rs.status() #查看状态
shard1分片的副本集就配置好了，接着配置shard2副本集：
mongo -port 30001 # 进入shard1主节点
use admin #进入管理员数据库
config = {
_id : "shard2",
configsvr: false,
version: 1,
members : [
{ _id : 0 , host : "192.168.137.128:30001" },
{ _id : 1 , host : "192.168.137.134:30001", arbiterOnly : true },
{ _id : 2 , host : "192.168.137.133:30001" },
]
}
rs.initiate(config) # 初始化shard1集群
rs.status() #查看状态
shard2副本集配置就好了，接着配置configserver：
mongo -port 40001 # 进入shard1主节点
use admin #进入管理员数据库
config = {
_id : "config-server",
configsvr: true,
version: 1,
members : [
{ _id : 0 , host : "192.168.137.128:40001" },
{ _id : 1 , host : "192.168.137.134:40001"},
{ _id : 2 , host : "192.168.137.133:40001"}
]
}
rs.initiate(config) # 初始化shard1集群
rs.status() #查看状态
配置Mongos
新建C:\mongodb\mongos.conf配置文件，内容如下：
logpath=C:\mongodb\mongos\mongos.log
port=50001
bind_ip=0.0.0.0
直接在主机1上运行如下命令配置成服务：
mongos -configdb "config-server/192.168.137.128:40001,192.168.137.134:40001,192.168.137.133:40001" --config C:\mongodb\mongos.conf --install –serviceName MongoDBMongos -serviceDisplayName MongoDBMongos
之前没建的一些文件记得创建，否则启动不起来，记得在对应目录下建一下对应的日志文件
然后在任务管理器启动对应服务，运行成功之后就可以用MongoCompass连接测试了，地址为mongodb://192.168.137.128:50001/，连接之后截图如下：
到此成功，接下来客户端只需要连接这个mongos的地址就行了
登录账号密码验证
连接mongos，输入如下命令创建用户:
mongo -port 50001
use admin
db.createUser({user:'admin',pwd:'admin',roles:['clusterAdmin','dbAdminAnyDatabase','userAdminAnyDatabase','readWriteAnyDatabase']})
# 查看用户 在 admin库
db.system.users.find().pretty()
到http://slproweb.com/products/Win32OpenSSL.html下载openssl工具，安装之后输入这个命令：
openssl rand -base64 756 > D:/key.file
生成一个keyfile，然后复制到每个主机的C:\mongodb\key.file路径，之后重新配置configserver、shard1、shard2的所有节点配置：
auth=true
keyFile=C:\mongodb\key.file
然后全部重启，新的连接字符串如下：
>mongo -port 50001 -u admin -p "admin"
如果用mongocompass连接方式如下：
mongodb://admin:admin@192.168.137.128:50001/?authMechanism=DEFAULT
连接成功截图
到这步就大功告成！如果后面需要添加任何分片节点，重复上面的步骤就可以了，每个分片需要配置一主一从一仲裁，仲裁节点其实可以放在一个监控服务器上，因为不需要存储数据
其他操作及问题
修改配置
mongo --port 20001 -u "admin" -p "admin"
# 获取配置
cfg = rs.conf()
# 测试环境和生产环境这里不能配localhost，否则客户端访问不到
cfg.members[0].host = "你的IP 或者域名"
# 重新加载配置
rs.reconfig(cfg)
新增或者删除新的节点
mongo --port 20001 -u "admin" -p "admin"
rs.add("IP:端口") # 普通节点
rs.addArb("IP:端口") # 仲裁节点
rs.remove("IP:端口") # 删除节点
mongo 控制台乱码
由于mongodb后台的字符编码都是utf-8的，而中文windows cmd窗口使用的字符编码是GBK（属性-》选项-》当前代码页），所以当在cmd中使用mongo命令查询数据并显示后，中文会变成乱码。
使用下述方式修改cmd窗口的编码为utf8如下，再次查询时中文会显示正常，但是仍然不能执行中文的插入操作，可以使用MongoVUE工具执行中文的插入操作：
-
chcp 65001
-
选择“属性”中的字体，除“点阵字体”外所有的都行
未完成的部分
- 虽然设置了分片集群，但是每个集合和数据库都还不是分片的，需要自己手动连接mongos设置，这里就不继续加了，很简单
- 分片状态下怎么备份？怎么还原？这一条是大问题，后面有空了解了再写一篇新博客
