常用命令

  1. db    查看当前路径
  2. use    切换库，没有库的时候自动创建
  3. show tables;    查看当前库的表
  4. db.stats()        查看库的状态
  6. --命令种类
  7. 数据库对象（库（database），表（collection），行（document））
  8. db.help();    查询db下的所有命令帮助
  10. --表的操作（集合）
  11. > db.createCollection('1')
  12. > db.createCollection('2')
  13. > show collections
  14. > db.getCollectionNames()
  16. --行的操作
  17. #插入
  18. > db.stu.insert({id:101,name:"zhangsan",age:20,gender:"n"})
  19. > db.stu.insert({a:"b",c:"d"})
  20. > db.stu.insert({a:1,c:2})
  21. #查询
  22. > db.stu.find().pretty()
  23. > db.stu.findOne()    #查询第一条
  24. > db.stu.count()    #查询总行数
  25. > db.stu.remove({})    #删除记录中所有的记录,也可以按条件删
  26. > db.stu.distinct("name")    #查询去掉当前集合中某列的重复数据
  28. #删除
  29. > use app
  30. > db.log.drop()
  31. #重命名
  32. > db.test.renameCollection("test1")
  33. #for循环批量插入
  34. for(i=1;i<10001;i++){db.log.insert({"uid":i,"name":"mongodb","age":6,"data":new Date()})}
  36. #查看集合存储信息
  37. > db.log.stats()
  38. > db.log.totalSize()    #集合中索引+数据压缩存储之后的大小
  39. > db.log.dataSize()    #集合中数据的原始大小
  40. > db.log.totalIndexSize()    #集合中索引数据的原始大小
  41. > db.log.storageSize()    #集合中数据压缩存储的大小

复制集（relication set）

rs.help()

  1. 至少三个节点，1主两从，主宕机后会内部自动投票选取新的主节点，并自动切换
  2. 从库默认是不让读写的，需要rs.slaveOk()

mongodb命令及集群 - 图1

mongodb命令及集群 - 图2

搭建测试环境

  1. #多实例目录配置
  2. mkdir -p /mongodb/280{17,18,19,20}/conf /mongodb/280{17,18,19,20}/data /mongodb/280{17,18,19,20}/log
  4. #多实例配置文件模板（四台机器都配置,注意路径和端口）
  5. cat > /mongodb/28017/conf/mongod.conf << EOF
  6. systemLog:
  7.   destination: file
  8.   path: /mongodb/28017/log/mongodb.log
  9.   logAppend: true
  10. storage:
  11.   journal:
  12.     enabled: true
  13.   dbPath: /mongodb/28017/data
  14.   directoryPerDB: true
  15.   #engine: wiredTiger
  16.   wiredTiger:                            #具备事务的引擎
  17.     engineConfig:
  18.       cacheSizeGB: 1                    #缓冲区大小
  19.       directoryForIndexes: true
  20.     collectionConfig:
  21.       blockCompressor: zlib
  22.     indexConfig:
  23.       prefixCompression: true
  24. processManagement:
  25.   fork: true
  26. net:
  27.   bindIp: 127.0.0.1
  28.   port: 28017
  29. replication:                            #日志
  30.   oplogSizeMB: 2048                        #日志表大小
  31.   replSetName: my_repl                    #复制集名
  32. EOF
  34. #启动
  35. mongod -f /mongodb/28017/config/mongo.conf
  36. mongod -f /mongodb/28018/config/mongo.conf
  37. mongod -f /mongodb/28019/config/mongo.conf
  38. mongod -f /mongodb/28020/config/mongo.conf

配置普通复制集

rs必须要三个节点才能建立，因为要投票选举主节点

一主两从的方式比较耗资源，所以一般都是一主一从一arbiter来搭建（arbiter只用来选举）

  1. #一主两从，从库普通从库
  2. mogo --port 28017 admin
  4. #设置rs配置参数
  5. config = {_id:"my_repl",members:[
  6.     {_id:0,host:"127.0.0.1:28017"},
  7.     {_id:1,host:"127.0.0.1:28018"},
  8.     {_id:2,host:"127.0.0.1:28019"}]
  9. }
  11. #构建
  12. rs.initiate(config)
  14. #查询复制集状态
  15. rs.status()
  17. #一主一从一arbiter配置参数
  18. config = {_id:"my_repl",members:[
  19.     {_id:0,host:"127.0.0.1:28017"},
  20.     {_id:1,host:"127.0.0.1:28018"},
  21.     {_id:2,host:"127.0.0.1:28019","arbiterOnly":true}]
  22. }

管理复制集

  1. #查询
  2. rs.status()        //查看整体复制集状态
  3. rs.isMster()        //查看谁是master主节点
  4. rs.conf()            //查看复制集配置信息
  6. #添加删除
  7. rs.remove("127.0.0.1:28017")    #删除一个节点
  8. rs.add("127.0.0.1:28017")        #添加一个节点
  9. rs.addArb(“127.0.0.1:28017”)    #添加一个arbiter节点

分片集群（sharding cluster）

sh.help()

  1. 10个实例：398017-38027
  2. 需要两组shard节点，一组config节点（不能有arbiter）和一个mongos节点

mongodb命令及集群 - 图3

搭建两组rs的环境

  1. #多实例目录创建
  2. mkdir -p /mongodb/380{21,22,23,24,25,26}/conf /mongodb/380{21,22,23,24,25,26}/log /mongodb/380{21,22,23,24,25,26}/data
  4. #多实例配置文件
  5. --sh1
  6. cat >  /mongodb/38021/conf/mongodb.conf  <<EOF
  7. systemLog:
  8.   destination: file
  9.   path: /mongodb/38021/log/mongodb.log   
  10.   logAppend: true
  11. storage:
  12.   journal:
  13.     enabled: true
  14.   dbPath: /mongodb/38021/data
  15.   directoryPerDB: true
  16.   #engine: wiredTiger
  17.   wiredTiger:
  18.     engineConfig:
  19.       cacheSizeGB: 1
  20.       directoryForIndexes: true
  21.     collectionConfig:
  22.       blockCompressor: zlib
  23.     indexConfig:
  24.       prefixCompression: true
  25. net:
  26.   bindIp: 172.16.0.7,127.0.0.1
  27.   port: 38021
  28. replication:
  29.   oplogSizeMB: 2048
  30.   replSetName: sh1
  31. sharding:
  32.   clusterRole: shardsvr
  33. processManagement: 
  34.   fork: true
  35. EOF
  37. cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38022/conf/
  38. cp  /mongodb/38021/conf/mongodb.conf  /mongodb/38023/conf/
  39. sed 's#38021#38022#g' /mongodb/38022/conf/mongodb.conf -i
  40. sed 's#38021#38023#g' /mongodb/38023/conf/mongodb.conf -i
  44. --sh2
  45. cat > /mongodb/38024/conf/mongodb.conf <<EOF
  46. systemLog:
  47.   destination: file
  48.   path: /mongodb/38024/log/mongodb.log   
  49.   logAppend: true
  50. storage:
  51.   journal:
  52.     enabled: true
  53.   dbPath: /mongodb/38024/data
  54.   directoryPerDB: true
  55.   wiredTiger:
  56.     engineConfig:
  57.       cacheSizeGB: 1
  58.       directoryForIndexes: true
  59.     collectionConfig:
  60.       blockCompressor: zlib
  61.     indexConfig:
  62.       prefixCompression: true
  63. net:
  64.   bindIp: 172.16.0.7,127.0.0.1
  65.   port: 38024
  66. replication:
  67.   oplogSizeMB: 2048
  68.   replSetName: sh2
  69. sharding:
  70.   clusterRole: shardsvr
  71. processManagement: 
  72.   fork: true
  73. EOF
  75. cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38025/conf/
  76. cp  /mongodb/38024/conf/mongodb.conf  /mongodb/38026/conf/
  77. sed 's#38024#38025#g' /mongodb/38025/conf/mongodb.conf -i
  78. sed 's#38024#38026#g' /mongodb/38026/conf/mongodb.conf -i
  80. #启动
  81. mongod -f  /mongodb/38021/conf/mongodb.conf 
  82. mongod -f  /mongodb/38022/conf/mongodb.conf 
  83. mongod -f  /mongodb/38023/conf/mongodb.conf 
  84. mongod -f  /mongodb/38024/conf/mongodb.conf 
  85. mongod -f  /mongodb/38025/conf/mongodb.conf 
  86. mongod -f  /mongodb/38026/conf/mongodb.conf

配置两组rs的节点

  1. mongo --port 38021 admin
  3. #第一组rs的配置参数
  4. config = {_id: 'sh1', members: [
  5.     {_id: 0, host: '172.16.0.7:38021'},
  6.     {_id: 1, host: '172.16.0.7:38022'},
  7.     {_id: 2, host: '172.16.0.7:38023',"arbiterOnly":true}]
  8. }
  9. #第一组启动
  10. rs.initiate(config)
  13. mongo --port 38024
  15. #第二组的rs配置参数
  16. config = {_id: 'sh2', members: [
  17.     {_id: 0, host: '172.16.0.7:38024'},
  18.     {_id: 1, host: '172.16.0.7:38025'},
  19.     {_id: 2, host: '172.16.0.7:38026',"arbiterOnly":true}]
  20. }
  21. #第二组启动
  22. rs.initiate(config)

配置config节点

  1. mkdir -p /mongodb/380{18,19,20}/conf  /mongodb/380{18,19,20}/log  /mongodb/380{18,19,20}/data
  3. #修改配置文件
  4. cat > /mongodb/38018/conf/mongodb.conf <<EOF
  5. systemLog:
  6.   destination: file
  7.   path: /mongodb/38018/log/mongodb.conf
  8.   logAppend: true
  9. storage:
  10.   journal:
  11.     enabled: true
  12.   dbPath: /mongodb/38018/data
  13.   directoryPerDB: true
  14.   #engine: wiredTiger
  15.   wiredTiger:
  16.     engineConfig:
  17.       cacheSizeGB: 1
  18.       directoryForIndexes: true
  19.     collectionConfig:
  20.       blockCompressor: zlib
  21.     indexConfig:
  22.       prefixCompression: true
  23. net:
  24.   bindIp: 172.16.0.7,127.0.0.1
  25.   port: 38018
  26. replication:
  27.   oplogSizeMB: 2048
  28.   replSetName: configReplSet
  29. sharding:
  30.   clusterRole: configsvr
  31. processManagement: 
  32.   fork: true
  33. EOF
  35. #配置启动文件
  36. cp /mongodb/38018/conf/mongodb.conf /mongodb/38019/conf/
  37. cp /mongodb/38018/conf/mongodb.conf /mongodb/38020/conf/
  38. sed -i 's#38018#38019#g' /mongodb/38019/conf/mongodb.conf
  39. sed -i 's#38018#38020#g' /mongodb/38020/conf/mongodb.conf
  41. mongod -f /mongodb/38018/conf/mongodb.conf 
  42. mongod -f /mongodb/38019/conf/mongodb.conf 
  43. mongod -f /mongodb/38020/conf/mongodb.conf 
  46. mongo --port 38018 admin
  47. config = {_id: 'configReplSet', members: [
  48.     {_id: 0, host: '172.16.0.7:38018'},
  49.     {_id: 1, host: '172.16.0.7:38019'},
  50.     {_id: 2, host: '172.16.0.7:38020'}]
  51. }
  52. rs.initiate(config)
  53. 注：configserver 可以是一个节点，官方建议复制集。configserver不能有arbiter。
  54. 新版本中，要求必须是复制集。
  55. 注：mongodb 3.4之后，虽然要求config server为replica set，但是不支持arbiter

配置mongos节点

  1. mkdir -p /mongodb/38017/conf  /mongodb/38017/log
  3. #修改配置文件
  4. cat > /mongodb/38017/conf/mongos.conf <<EOF
  5. systemLog:
  6.   destination: file
  7.   path: /mongodb/38017/log/mongos.log
  8.   logAppend: true
  9. net:
  10.   bindIp: 172.16.0.7,127.0.0.1
  11.   port: 38017
  12. sharding:
  13.   configDB: configReplSet/172.16.0.7:38018,172.16.0.7:38019,172.16.0.7:38020
  14. processManagement: 
  15.   fork: true
  16. EOF
  18. #启动
  19. mongos -f /mongodb/38017/conf/mongos.conf

分片集群配置

  1. #连接到其中一个mongos
  2. mongo 172.16.0.7:38017/admin
  4. #添加分片
  5. db.runCommand( { addshard : "sh1/172.16.0.7:38021,172.16.0.7:38022,172.16.0.7:38023",name:"sh1"} )
  6. db.runCommand( { addshard : "sh2/172.16.0.7:38024,172.16.0.7:38025,172.16.0.7:38026",name:"sh2"} )
  8. #整体状态查看
  9. sh.status();
  11. #列出分片
  12. db.runCommand( { listshards : 1 } )

range分片

一个节点上限后才会使用下个节点

  1. --对test库下的vast大表进行range
  3. mongo --port 38017 admin
  5. #创建test库的range索引
  6. db.runCommand( { enablesharding : "test" } )
  8. #创建表索引
  9. use test
  10. db.vast.ensureIndex( { id: 1 } )
  12. #开启分片
  13. use admin
  14. db.runCommand( { shardcollection : "test.vast",key : {id: 1} } )
  16. 插入数据验证
  17. use test
  18. for(i=1;i<100000;i++){db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()});}
  20. #hash分片结果测试 sh1 和 sh2 验证
  21. mongo --port 38021 test
  22. db.vast.count();
  24. mongo --port 38024 test
  25. db.vast.count();

hash分片

均匀分布

  1. --对cao库下的vast大表进行hash
  3. mongo --port 38017 admin
  5. #创建cao库的哈希索引
  6. db.runCommand( { enablesharding : "cao" } )
  8. #创建表索引
  9. use cao
  10. db.vast.ensureIndex( { id: "hashed" } )
  12. #开启分片
  13. use admin
  14. sh.shardCollection( "cao.vast", { id: "hashed" } )
  16. #插入数据验证
  17. use cao
  18. for(i=1;i<100000;i++){ db.vast.insert({"id":i,"name":"shenzheng","age":70,"date":new Date()}); }
  20. #hash分片结果测试 sh1 和 sh2 验证
  21. mongo --port 38021 cao
  22. db.vast.count();
  24. mongo --port 38024 cao
  25. db.vast.count();

sharding cluster管理操作

  1. #mongos节点下 查询节点综合信息
  2. db.vast.count()
  4. 删除分片节点会立即触发blancer，所以生产不用
  6. #admin节点下，添加节点
  7. db.runCommand( { addshard : "sh2/10.0.0.51:38024,10.0.0.51:38025,10.0.0.51:38026",name:"shard2"} )

balancer操作

mongos的一个重要功能，自动巡查shard节点的chunk情况，自动做chunk迁移

  1. 什么时候工作：
  2.     1、自动运行，会检测系统不繁忙的时候做迁移
  3.     2、在做节点删除的时候，立即开始迁移工作
  4.     3、balancer只能在预设定的时间窗口运行
  6. #备份的时候可以关闭blancer防止备份文件损坏，备份完再开启
  7. mongos> sh.stopBalancer()
  8. mongos> sh.startBalancer()
  10. #自定义进行的时间段
  11. use config
  12. sh.setBalancerState( true )
  13. db.settings.update({ _id : "balancer" }, { $set : { activeWindow : { start : "3:00", stop : "5:00" } } }, true )
  15. 查看：
  16. sh.status()
  21. --以下作为了解：
  22. 关闭某个集合的balance
  23. sh.disableBalancing("students.grades")
  24. 打开某个集合的balancer
  25. sh.enableBalancing("students.grades")
  26. 确定某个集合的balance是开启或者关闭
  27. db.getSiblingDB("config").collections.findOne({_id : "students.grades"}).noBalance;