Général:FAQ NouvelleInstanceMongoDB : Différence entre versions
(→Ajout de la variable MNG_SID) |
(→Ajout de la variable MNG_SID) |
||
Ligne 237 : | Ligne 237 : | ||
# From : mongod@my_mongodb_host | # From : mongod@my_mongodb_host | ||
export MNG_SID=MNG_INST_PRD | export MNG_SID=MNG_INST_PRD | ||
+ | |||
+ | ====Paramétrage de la méthode de connexion==== | ||
+ | Dans l'environnement de configutaion dbSQWare de votre instance. (par défaut : $HOME/MNG_INST_PRD/sqwConfig) | ||
+ | #Entrez le nom de l’instance | ||
+ | e MNG_INST_PRD | ||
+ | cfg | ||
+ | |||
+ | Le fichier avec les fonctions qui vont être chargées au démarrage de la session (vous pouvez rajouter les votres) : | ||
+ | mongod@my_mongodb_host:/home/mongo/MNG_TEST_PRD/sqwConfig (MNG_TEST_PRD) $ cat env.js | ||
+ | cd ("/home/mongo/MNG_TEST_PRD/sqwConfig") | ||
+ | load ("login.js") | ||
+ | |||
+ | Les fonctions qui permettent de se connecter à l'instance : | ||
+ | mongod@my_mongodb_host:/home/mongo/MNG_TEST_PRD/sqwConfig (MNG_TEST_PRD) $ cat login.js | ||
+ | function js_LocalConnection(){ | ||
+ | db = connect("my_mongodb_host:9999/admin"); | ||
+ | db.auth("administrator","administratorpwd") | ||
+ | } | ||
+ | function l1(){ | ||
+ | db = connect("my_mongodb_host:9999/admin"); | ||
+ | db.auth("administrator","administratorpwd") | ||
+ | } | ||
====Test sendmail (non obligatoire)==== | ====Test sendmail (non obligatoire)==== |
Version du 27 septembre 2023 à 08:42
Sommaire
- 1 Généralités
- 2 Intégration d'une instance MongoDB
- 2.1 Mise en place de l'environnement
- 2.2 Procédure spécifique pour la partie "locale" (statut ON)
- 2.2.1 Vérification des prérequis système pour la partie "locale" (ksh + rsync)
- 2.2.2 Modification user unix
- 2.2.3 Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)
- 2.2.4 Test de connexion ssh depuis SQWareCentral
- 2.2.5 Déploiement de SQWareProduction
- 2.2.6 Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile
- 2.2.7 Paramétrage de la méthode de connexion
- 2.2.8 Test sendmail (non obligatoire)
- 2.2.9 Test de connexion "manuel" à l'instance MongoDB (connexion "locale")
- 2.3 Procédure spécifique pour la partie "distante" (statut DIST)
- 3 Mise en exploitation de l'instance
Généralités
Dans ce chapitre, on considèrera que SQWareCentral a été installé sur dbsqware@sqwarebox ...
Limites de cette section
Ce chapitre ne traite que de l'ajout d'une nouvelle instance sur un socle déjà paramétré et fonctionnel.
Utilisez les portions qui concernent votre environnement et utilisez la méthode match ou manuelle au choix !
MODOP général d'intégration d'une nouvelle instance MongoDB
Il y aura potentiellement 1 ou 2 cas de connexion à traiter
- "locale", pour les machines unix (ou avec Cygwin) où l'on va faire du "mongodb" sur la machine qui porte l'instance (connexion ssh depuis dbsqware@sqwarebox)
- "distante", pour le cas où l'on n'a accès à la machine en ssh (Windows, RDS, etc, ...)
Etapes classiques :
- Mise en place de l'environnement
- Vérification des prérequis système pour la partie "locale" (ksh + rsync)
- Tests "manuels"
- Mise en exploitation de l'instance
Vous verrez que ces étapes peuvent être traitée une par une ou par batch !
Intégration d'une instance MongoDB
Mise en place de l'environnement
Général
Explication du "DbAlias" (la clé unique dbSQWare)
La clé dbSQWare doit être unique et raccord avec ce qui aura été paramétré pour la variable gvsqw_DbAlias dans sqwpg_GlobalVar.cfg !
On va utiliser une variable, MNG_SID qui n'a aucune valeur pour MongoDB mais qui va identifier l'instance dans dbSQWare.
Par "convention", on utilise souvent MNG "_" APPLI "_" ENV.
Exemple : MNG_MONAPPLI_PRD ou MNG_DEUXAPPLI_DEV ...
Mais rien n'est imposé, vous choisissez ce qui "vous arrange" ! Il faudra juste positionner la variable MNG_SID dans le profile du compte mongodb (ou autre user) avec la valeur souhaitée.
Explication des statuts
- Une instance sera traitée en mode "local", c’est-à-dire que l’on va se connecter en "psql" en local sur la machine qui porte l’instance (accès ssh depuis dbsqware@sqwarebox), statut "ON".
- Une instance où l’on n’aurait pas d'accès unix local serait gérée en mode "distant" (style Windows, RDS, ...), statut "DIST".
- Le statut "OFF" fait "disparaître" l’instance de la visu web.
- Le statut "NEW" est utilisé comme statut intermédiaire entre le début et la fin du paramétrage d'une nouvelle instance.
- Tous les autres statuts permettent d’afficher l’instance dans le référentiel (notamment "KEEP") mais ne seront pas pris en compte par les traitements automatiques.
Résumé des statuts :
Statut | Description |
ON | gestion locale sous unix (le plus courant) |
DIST | gestion uniquement à distance |
KEEP | statut temporaire, lors d'une maintenance par exemple ou avant suppression complète |
NEW | statut temporaire, lors du paramétrage |
OFF | suppression visuelle de l'instance (sans suppression de son paramétrage) |
XXX | non pris en charge ... |
Déclaration de l'instance dans SQWareRepository avec SQWareWeb
Nous allons déclarer la nouvelle instance depuis l'interface d'administration de SQWareWeb.
Déclarez la nouvelle instance en statut "NEW" (Ajout ou Duplicate)
Explication des champs :
Champ | Description |
Db Alias | Clé unique qui identifie l'instance dans dbSQWare (pas de valeur pour MongoDB) |
Dbms Name | Type de SGBD |
Virtual Host | Host virtuel (meme que Host si pas cluster) |
Host Name | Hostname de l'instance |
User Name | User qui porte l'instance |
Port | Port d'écoute de l'instance |
Comments | Une courte description de ce que porte l'instance |
Status | Instance statut (cf plus haut pour les explications) |
Contact | Un contact si besoin |
Environnement | Environnement de l'instance (PRD, PPR, REC, DEV, TST, ...) |
Client | Utilisé uniquement pour filtrer (mettre un nom de client et/ou de département et/ou service ... |
GlobalHost | Champ libre dans lequel on met souvent l'hôte de hyperviseur par exemple |
Custom1 | Champ libre 1 |
Custom2 | Champ libre 2 |
Regénérer les fichiers de référence de SQWareCentral
Tapez la commande suivante qui va générer les fichiers de référence :
# From : dbsqware@sqwarebox gen_all
Procédure spécifique pour la partie "locale" (statut ON)
/!\ Uniquement que les instances qui seront en statut "ON" !
Vérification des prérequis système pour la partie "locale" (ksh + rsync)
SQWareProduction étant écrit essentiellement en shell ksh et étant synchronisé depuis SQWareCentral avec rsync, il nous faut donc "ksh" et "rsync" installés !
Vérification
Adaptez à votre nom de user et nom de machine.
ksh:
# From : mongod@my_mongodb_host type ksh #ou which ksh
rsync:
# mongod@my_mongodb_host type rsync #ou which rsync
Installation
Adaptez à votre type de machine (sudo si vous n'êtes pas root).
RedHat / CentOS / ... :
# From : root@my_mongodb_host yum install -y ksh rsync
Ubuntu / Debian / ... :
# From : root@my_mongodb_host apt install -y ksh rsync
Modification user unix
Adaptez à votre type de machine et à votre user (sudo si vous n'êtes pas root).
Modification du homedir (pas obligatoire mais évite de se retrouver dans /var/lib/mongo) :
# From : root@my_mongodb_host mkdir -p /home/mongod chown mongodb:mongod /home/mongod chmod 750 /home/mongod ##Stop instance usermod -d /home/mongod mongod ##Start instance #Ou directement vi /etc/passwd !
Affectez un passwd au user mongod (sinon la connexion par échange de clés ne fonctionnera pas !) :
# From : root@my_mongodb_host passwd mongod
Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)
Il existe deux manières de procéder :
- Une automatique (depuis dbsqware@sqwarebox mais vous oblige à connaitre le mdp du compte unix mongodb)
- Une manuelle que vous appliquez sur chaque compte unix mongodb
/!\ Le mdp de votre compte mongodb unix doit avoir été initialisé, si non, la connexion par échange de clé ne fonctionnera pas !
Déploiement de(s) clé(s) ssh : méthode batch
# From : dbsqware@sqwarebox menu_mng GenDeplSshKeys_SQWareCentral GenLstInstanceNew
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Entrez le mdp unix quand il vous est demandé !
Déploiement de(s) clé(s) ssh : méthode manuelle
# From : mongod@my_mongodb_host if [ ! -r $HOME/.ssh/id_rsa ] then ssh-keygen -t rsa -N '' -f $HOME/.ssh/id_rsa fi chmod go-w $HOME echo "ssh-rsa AAAAB......XSPpdV11 dbsqware@sqwarebox" >>$HOME/.ssh/authorized_keys chmod 700 $HOME/.ssh chmod 600 $HOME/.ssh/authorized_keys
=> Mettre la bonne clé dans le "echo" (celle de dbsqware@sqwarebox)
Test de connexion ssh depuis SQWareCentral
# From : dbsqware@sqwarebox menu_mng TestSshConnection GenLstInstanceNew
Déploiement de SQWareProduction
# From : dbsqware@sqwarebox #Si depl sur user "unique" menu_mng DeplScripts GenLstUniqueNew #Si depl sur user "de l'instance" menu_mng DeplScripts GenLstInstanceNew
Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile
Une nouvelle fois, il existe deux manières de procéder :
- Une automatique (depuis dbsqware@sqwarebox)
- Une manuelle que vous appliquez sur chaque compte unix mongodb
Ajout de l'environnement dbSQWare : méthode batch
# From : dbsqware@sqwarebox menu_mng AdddbSQWareProfile GenLstInstanceNew
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Dans ~/.profile ou ~/.bash_profile, changez la variable suivante avec la valeur adaptée : gvsqw_Env='XXX'
Ajout de l'environnement dbSQWare : méthode manuelle
Ajoutez les lignes suivantes dans le ~/.profile ou ~/.bash_profile
# From : mongod@my_mongodb_host #dbSQWare export gvsqw_MngBin=$HOME/SQWareProduction/mongodb/bin export gvsqw_Env='PRD' lvsqw_IsTerminal=$(tty 2>&1 >/dev/null;echo $?) if [ "$lvsqw_IsTerminal" = "0" ] && [ -r $gvsqw_MngBin/../etc/.profile_confort ] then . $gvsqw_MngBin/../etc/.profile_confort fi
Ajout de la variable MNG_SID
Ajoutez la variable MNG_SID dans le ~/.profile ou ~/.bash_profile
# From : mongod@my_mongodb_host export MNG_SID=MNG_INST_PRD
Paramétrage de la méthode de connexion
Dans l'environnement de configutaion dbSQWare de votre instance. (par défaut : $HOME/MNG_INST_PRD/sqwConfig)
#Entrez le nom de l’instance e MNG_INST_PRD cfg
Le fichier avec les fonctions qui vont être chargées au démarrage de la session (vous pouvez rajouter les votres) :
mongod@my_mongodb_host:/home/mongo/MNG_TEST_PRD/sqwConfig (MNG_TEST_PRD) $ cat env.js cd ("/home/mongo/MNG_TEST_PRD/sqwConfig") load ("login.js")
Les fonctions qui permettent de se connecter à l'instance :
mongod@my_mongodb_host:/home/mongo/MNG_TEST_PRD/sqwConfig (MNG_TEST_PRD) $ cat login.js function js_LocalConnection(){ db = connect("my_mongodb_host:9999/admin"); db.auth("administrator","administratorpwd") } function l1(){ db = connect("my_mongodb_host:9999/admin"); db.auth("administrator","administratorpwd") }
Test sendmail (non obligatoire)
# From : dbsqware@sqwarebox menu_mng TestSendmail GenLstInstanceNew
Test de connexion "manuel" à l'instance MongoDB (connexion "locale")
/!\ Uniquement que les instances qui seront en statut "ON" !
# From : dbsqware@sqwarebox menu_mng TestInstConnectionOnNoMail GenLstInstanceNew
Procédure spécifique pour la partie "distante" (statut DIST)
Création d'un compte MongoDB spécifique dbSQWare (Pour connexion distante)
Adaptez aux besoins en fonction de ce que vous voulez faire ...
Exemple
mongo
Vous pouvez mettre le nom et le mot de passe que vous souhaitez !
Ce compte devra être déclaré sur le compte unix mongodb@sqwarebox ...
mongodb@sqwarebox:/home/mongodb () $ cat .passwd_mongodb DbAlias;UserName;Passwd;HostName;Port MNG_MONAPPLI_PRD;dbsdba;myPassword;srvdbmng01;9999
Test connexion "distante"
# From : dbsqware@sqwarebox menu_mng TestInstConnectionDistNoMail GenLstInstanceNew
Mise en exploitation de l'instance
Génération de la configuration par défaut SQWareProduction
/!\ Uniquement que les instances qui seront en statut "ON" !
# From : dbsqware@sqwarebox menu_mng GenDefConf_SQWareProduction GenLstInstanceNew
Mise à jour de SQWareRepository
Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance MongoDB (à NEW actuellement) avec la valeur souhaitée (ON, DIST)
Test de "reprise" des indicateurs
A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !)
# From : dbsqware@sqwarebox ## Pour les statuts "ON" repind_mng ## Pour les statuts "DIST" repind_mng_dist
Exploitation (stats, backups, …) pour les instance "ON"
Génération des conf SQWareProduction
Si vous avez suivi la procédure d’insertion de l’instance, cette partie est déjà fait par l’étape "menu_mng GenDefConf_SQWareProduction GenLstInstanceNew".
Vous pouvez vérifier avec le chapitre suivant.
Se connecter à la machine qui porte l'instance « MongoDB » et taper les commandes suivantes :
# From dbsqware@vmngwarebox c MNG_INST_PRD
#Source de l'env si multi-instance (from mongod@my_mng_host) e MNG_INST_PRD
too ./sqwmng_GenerateCreateInstance.ksh -dbsOnly
Vérifier que ce qui est proposé est bon et tapez « y » si c’est le cas.
A ce moment, vous avez généré les fichiers de configuration par défaut de SQWareProduction.
Explications
Les étapes précédentes ont créé certains fichiers par défaut. ($HOME/MNG_INST_PRD/sqwConfig)
#Entrez le nom de l’instance e MNG_INST_PRD cfg cat sqwmng_Jobs.cfg
#IndicDba: Gather DBAs indicators IndicDba:$gvsqw_MngBin/sqwmng_GatherIndicators.ksh -I MNG_INST_PRD #Dump: Dump all databases Dump:$gvsqw_MngBin/sqwmng_DumpAllDatabases.ksh -I MNG_INST_PRD -Exec
C’est un fichier de paramétrage qui est utilisé par le script sqwmng_RunJob.ksh pour exécuter des actions.
Fichier pour une cron par défaut $HOME/CrontabRef_MNG_INST_PRD :
## mm(0-59) hh(0-23) dd(1-31) MM(0-12) DAY(0-sunday, 1-monday, ...) command # Dump 00 20 * * * ksh -c '. $HOME/.profile MNG_INST_PRD;$gvsqw_MngBin/sqwmng_RunJob.ksh -I MNG_INST_PRD -A Dump > $HOME/tmp/Dump_MNG_INST_PRD.log 2>&1'
Mise en exploitation
Mise en place de la cron :
mv $HOME/CrontabRef_MNG_INST_PRD $HOME/CrontabRef vi $HOME/CrontabRef crontab $HOME/CrontabRef crontab -l
Mise à jour du fichier CrontabRef :
crontab -l > $HOME/CrontabRef cat $HOME/CrontabRef
Commandes utiles
alias intéressants :
e DBALIAS => source l'env pour l'instance bin, etc, too ... => pour aller dans arbo SQWareProduction standard cbin, cetc, ctoo ... => pour aller dans arbo SQWareProduction custom log => logs SQWareProduction dmp => on va dans les chemins de backup
Quelques options des scripts :
-h => aide en ligne -s => exemples en ligne -Exec => lorsque elle est présente, si non settée ne sort que les commandes sans les exécuter
Exemples :
mongod@my_mng_host:$HOME/admin/MNG_INST_PRD/logs/DumpAllDatabases (MNG_INST_PRD) $ bin total 48 drwxr-x--- 2 mongod mongod 4096 Aug 16 15:50 . drwxr-x--- 15 mongod mongod 4096 Aug 16 15:50 .. -rwxr-x--- 1 mongod mongod 3071 Aug 16 15:50 sqwmng_CompactAllDatabases.ksh -rwxr-x--- 1 mongod mongod 2610 Aug 16 15:50 sqwmng_CompactDatabase.ksh -rwxr-x--- 1 mongod mongod 3774 Aug 16 15:50 sqwmng_CopyDumpAllDatabases.ksh -rwxr-x--- 1 mongod mongod 5167 Sep 6 15:12 sqwmng_CopyDumpDatabase.ksh -rwxr-x--- 1 mongod mongod 3250 Aug 16 15:50 sqwmng_DumpAllDatabases.ksh -rwxr-x--- 1 mongod mongod 2930 Aug 16 15:50 sqwmng_DumpDatabase.ksh lrwxrwxrwx 1 mongod mongod 36 Feb 16 2021 sqwmng_ExecSQL.ksh -> ../../generic/bin/sqwgen_ExecSQL.ksh -rwxr-x--- 1 mongod mongod 2482 Aug 16 15:50 sqwmng_GatherIndicators.ksh lrwxrwxrwx 1 mongod mongod 38 Oct 4 2014 sqwmng_NetBackup.ksh -> ../../generic/bin/sqwgen_NetBackup.ksh lrwxrwxrwx 1 mongod mongod 40 Oct 4 2014 sqwmng_ParallelRun.ksh -> ../../generic/bin/sqwgen_ParallelRun.ksh -rwxr-x--- 1 mongod mongod 3325 Aug 16 15:50 sqwmng_RestoreAllDatabases.ksh -rwxr-x--- 1 mongod mongod 3056 Aug 16 15:50 sqwmng_RestoreDatabase.ksh lrwxrwxrwx 1 mongod mongod 35 Oct 4 2014 sqwmng_RunJob.ksh -> ../../generic/bin/sqwgen_RunJob.ksh
mongod@my_mng_host:$HOME/SQWareProduction/mongod/bin (MNG_INST_PRD) $ ./sqwmng_DumpAllDatabases.ksh -h Sourcing sqwmng_Global.lib v2023.06 SQWareProduction for MongoDB (dbSQWare) ... Usage: sqwmng_DumpAllDatabases.ksh [-h] -I instance [+ options] DESCRIPTION sqwmng_DumpAllDatabases.ksh Dump databases in parallel SUPPORT MongoDB supported versions: 2.4 <= v <= 5.1 PARAMETERS -I instance : Target instance to mongodump. OPTIONS -h help : Display the full usage. -s : Display samples of usage. -P Nb threads : Number of threads in parallel (by default 2). -ID listdb : List of databases to be dumped (by default all). -ED listdb : List of databases to exclude from dump. -IL likeclause : Like clause to generate databases list (example: 'db', egrep syntax!). -EL likeclause : Like clause to exclude databases (example: 'nodb', egrep syntax!). -HI Nb_Generations : Number of generations to keep (by default 2). -WCD whereclause : Where clause to generate databases list (egrep syntax!). -AGR Nb sec : Nb of seconds between two runs (by default 1s). -AGE Nb sec : Nb of seconds between two checks of end (by default 10s). -FRT return_code : Force return code value on error. -Opt option : Additional options for mongodump. -Dist : For distant connection to database (change $gvsqw_ConnectString to $gvsqw_DistConnectString ). -AddMail email : Email address to add at 'pmexpdba@gmail.com'. -SendReport : Send execution log report. -NoMail : Deactivate sendmail on error pmexpdba@gmail.com (by default, send on error). -Tar : Tar generated dump dir after mongodump (default : Tar). -NoTar : Don't tar generated dump dir after mongodump (default : Tar). -Locale locale : Force Locale for help display (fr,en). -Exec : Execute commands (default, display generated commands)
Enjoy !