Pular para o conteúdo principal

Como levantar um sharding do MongoDB

https://gist.github.com/paulobezerr/98016c2a89126c59bca3260e07bbdc44

Requisitos mínimos:
  • Uma máquina para router (mongos)
  • Três máquinas para configuração (metadata - mongod)
  • Duas máquinas para guardar os dados (mongod) - Essas você pode instalar o mongo, abrir para fora e deixar rodando
O primeiro passo é criar o replicaset de configuração:
  • Se em produção, criar três máquinas que receberão uma instância do mongodb, senão, utilizar a mesma máquina, porém mudar as portas das instâncias (por favor, se não souber como funciona, sobe VM e se vira com várias máquinas).
  • Configurar três instâncias do mongodb com wiredTiger, setando o nome do replicaSet (igual em todas) e ativando o clusterRule para configsvr.
  • Ligar as três instâncias.
O arquivo de configuração modelo é:
storage:
  dbPath: /var/lib/mongodb
  journal:
    enabled: true
  engine: wiredTiger
systemLog:
  destination: file
  logAppend: true
  path: /var/log/mongodb/mongod.log
net:
  port: 27019
  bindIp: 0.0.0.0
sharding:
   clusterRole: configsvr
replication:
   replSetName: <replicaSetName>

Depois que as três instâncias estiverem levantadas, acessar qualquer uma delas e (depois de alterar o scripts abaixo para seus IP's), executar o comando:
rs.initiate({
  _id: "<replicaSetName>",
  configsvr: true,
  members: [
    { _id: 0, host: "<mongod_instance_1>:27019" },
    { _id: 1, host: "<mongod_instance_2>:27019" },
    { _id: 2, host: "<mongod_instance_3>:27019" }
  ]
});

Com isso, teremos um replicaset de configuração do banco em três instâncias. Funciona como um espelho, porém a leitura é feita nas três instâncias (como em RAID).

Agora, termos que levantar a instância do router (mongos). Antes disso, é importante saber que a responsabilidade desse daemon é de manter as conexões e cursores com o a aplicação, que solicitou a operação. Por isso, não precisamos reservar espaço em disco para o banco, pois tudo é feito em memória.

A configuração do mongos, deve seguir esses parâmetros:
systemLog:
  destination: file
  logAppend: true
  path: /var/log/mongodb/mongos.log
net:
  port: 27017
  bindIp: 0.0.0.0
processManagement:
  fork: true
sharding:
  configDB: "<replicaSetName>/<mongod_instance_1>:<port>,<mongod_instance_2>:<port>,<mongod_instance_3>:<port>"

Coloque essa instância para subir. Agora, você só precisa adicionar todas as instâncias de banco (aquelas que eu disse no iniício que podia configurar a máquina e deixar rodando). Para realizar essa operação, conecte-se no sharding, e execute o comando:
sh.addShard("<mongodb_instance>:<port>");
Quem guardará as informações do cluster, serão as instâncias de configuração, ou seja, você pode adicionar quantos mongos quiser sem precisar rodar o comando acima.

Precisamos ativar os bancos de dados que esse sharding irá controlar, para isso, conecte-se no mongos e execute:
sh.enableSharding("<database_name>");

Para facilitar a vida de todos, preparei o script para o systemd conseguir gerenciar os processos do mongo. Ele deve ser posto em /lib/systemd/system/mongos.service. Certamente, se você já passou por muitos problemas relacionados, isso vai mudar sua vida. Você pode utilizá-lo para subir processos do mongod, só alterar os nomes e paths.
[Unit]
Description=High-performance, schema-free document-oriented database
After=syslog.target
After=network.target
[Service]
User=mongodb
Group=mongodb
Type=forking
RuntimeDirectory=mongodb
RuntimeDirectoryMode=755
PIDFile=/var/run/mongodb/mongos.pid
ExecStart=/usr/bin/mongos --quiet \
    --config /etc/mongos.conf \
    --pidfilepath /var/run/mongodb/mongos.pid \
    --fork
LimitFSIZE=infinity
LimitCPU=infinity
LimitAS=infinity
LimitNOFILE=64000
LimitNPROC=64000
[Install]
WantedBy=multi-user.target

Comentários

Postagens mais visitadas deste blog

View em PostgreSQL

Estou fazendo um programa de almoxarifado e decidi me aventurar no Postgres. Por coincidência acabei estudando bancos de dados em geral. Aprendi uma maneira muito simples de aumentar a velocidade do programa e reaproveitar código. Ao utilizar uma view, os dados já ficam pré-recarregados no servidor, então ao retirar os dados, você não está fazendo uma consulta completa no DB, pois ela já foi efetuada. Mão na massa...
Tenho as seguintes tabelas:

CREATE TABLE material (
  id SERIAL PRIMARY KEY,  -- auto_increment da ID
  nome varchar(200),      -- Nome
  modelo varchar(100),    -- Modelo
  tipo int,               -- Tipo (Pego em tabela tipo)
  marca int,              -- Marca (Pego em tabela marca)
);


CREATE TABLE tipo (
  id SERIAL PRIMARY KEY,  -- auto_increment da ID
  tipo varchar(100),      -- Tipo de produto
);
CREATE TABLE marca (
  id SERIAL PRIMARY KEY,  -- auto_increment da ID
  marca varchar(100),     -- Marca do produto
);
Vamos somente adicionar alguns valores para que tenha…

Problemas com locale em pt_BR no Archlinux

Após três meses de utilização do Ubuntu, decidi voltar para o ArchLinux e me deparei com um problema besta, mas que demorei a descobrir a causa.

Ao instalar o sistema, escolhemos no arquivo locale.gen os charsets desejados para o sistema e depois criamos o arquivo locale.conf, com as indicando o idioma do sistema, unidade monetária, data, etc...
Prefiro utilizar minhas distros em inglês mas claro que desejo que todo o resto esteja configurado para o nosso país. Pois bem, Coloquei no arquivo as seguintes configurações:
LANG=en_US.utf8 LC_TIME=pt_BR.utf8 LC_ALL=pt_BR.UTF8 LC_NUMERIC=pt_BR.utf8 LC_MONETARY=pt_BR.utf8 LC_MEASUREMENT=pt_BR.utf8
O problema é que ele me mostrava as datas todas em inglês e o Gnome ficou sem entender qual LC_TIME e LC_CTYPE eu havia selecionado. Quando eu executava:

$ locale

Eu obtinha exatamente o que eu havia colocado no meu conf e com três linhas de erro, dizendo que não foi possível encontrar o arquivo ou diretório. Depois de pesquisar muito e não encontrar…

Funções básicas em Python

Como é de praxe, no primeiro post desse blog, vou dizer quais são minhas intensões para meus futuros posts. Estudo programação a algum tempo e programo em PHP. Ainda tenho muito o que melhorar, mas espero que meu pequeno conhecimento sirva para ajudar outros que começaram sozinhos como eu.


Mas vamos ao ponto...


Ao "tentar" aprender Python através da documentação, pude ver as particularidades dessa linguagem comparada com o PHP, vou sempre fazer menção ao PHP, pois é nessa linguagem que realmente sei programar.

if x < 0 :
    print("Número negativo")
elif x = 0 :
    print("Número igual a zero")
elif x < 0 :
    print("Número positivo")
else :
    print("Isso não é um número")
    print("Digite um número!")

Comando seguido da condicional e ":"

Coloquei 4 espaços para começar a escrever o que está dentro da condicional.
O que diferencia o que está dentro do if e fora é justamente esse espaço. (Talvez não seja nec…