« Général:FAQ NouvelleInstanceMongoDBDist » : différence entre les versions

De WikiFr_dbSQWare
Aller à la navigation Aller à la recherche
← Modification précédente
 
(3 versions intermédiaires par le même utilisateur non affichées)
Ligne 149 : Ligne 149 :


==Mise en exploitation de l'instance==
==Mise en exploitation de l'instance==
===Génération de la configuration par défaut SQWareProduction===
/!\ Uniquement que les instances qui seront en statut "ON" !
<syntaxhighlight lang="sh" line>
# From : dbsqware@sqwarebox
menu_mng GenDefConf_SQWareProduction GenLstInstanceNew
</syntaxhighlight>
===Mise à jour de SQWareRepository===
===Mise à jour de SQWareRepository===
Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance MongoDB (à NEW actuellement) avec la valeur souhaitée (ON, DIST)
Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance MongoDB (à NEW actuellement) avec la valeur souhaitée DIST


===Test de "reprise" des indicateurs===
===Test de "reprise" des indicateurs===
Ligne 163 : Ligne 156 :
<syntaxhighlight lang="sh" line>
<syntaxhighlight lang="sh" line>
# From : dbsqware@sqwarebox
# From : dbsqware@sqwarebox
## Pour les statuts "ON"
repind_mng
## Pour les statuts "DIST"
repind_mng_dist
repind_mng_dist
</syntaxhighlight>
</syntaxhighlight>


===Exploitation (stats, backups, …) pour les instance "ON"===
==Commandes utiles==
====Génération des conf SQWareProduction====
Si vous avez suivi la procédure d’insertion de l’instance, cette partie est déjà fait par l’étape "menu_mng GenDefConf_SQWareProduction GenLstInstanceNew".<br/>
Vous pouvez vérifier avec le chapitre suivant.<br/>
<br/>
Se connecter à la machine qui porte l'instance « MongoDB » et taper les commandes suivantes :<br/>
<syntaxhighlight lang="sh" line>
# From dbsqware@vmngwarebox
c MNG_INST_PRD
</syntaxhighlight>
 
<syntaxhighlight lang="sh" line>
#Source de l'env si multi-instance (from mongod@my_mng_host)
e MNG_INST_PRD
</syntaxhighlight>
 
<syntaxhighlight lang="sh" line>
too
./sqwmng_GenerateCreateInstance.ksh -dbsOnly
</syntaxhighlight>
Vérifier que ce qui est proposé est bon et tapez « y » si c’est le cas.<br/>
A ce moment, vous avez généré les fichiers de configuration par défaut de SQWareProduction.
 
====Explications====
Les étapes précédentes ont créé certains fichiers par défaut. ($HOME/MNG_INST_PRD/sqwConfig)
<syntaxhighlight lang="sh" line>
#Entrez le nom de l’instance
e MNG_INST_PRD
cfg
cat sqwmng_Jobs.cfg
</syntaxhighlight>
 
<syntaxhighlight lang="sh" line>
#IndicDba: Gather DBAs indicators
IndicDba:$gvsqw_MngBin/sqwmng_GatherIndicators.ksh -I MNG_INST_PRD
 
#Dump: Dump all databases
Dump:$gvsqw_MngBin/sqwmng_DumpAllDatabases.ksh -I MNG_INST_PRD -Exec
</syntaxhighlight>
 
C’est un fichier de paramétrage qui est utilisé par le script sqwmng_RunJob.ksh pour exécuter des actions.<br/>
<br/>
Fichier pour une cron par défaut $HOME/CrontabRef_MNG_INST_PRD :
<syntaxhighlight lang="sh" line>
## mm(0-59) hh(0-23) dd(1-31) MM(0-12) DAY(0-sunday, 1-monday, ...) command
# Dump
00 20 * * * bash -c '. $HOME/.profile MNG_INST_PRD;$gvsqw_MngBin/sqwmng_RunJob.ksh -I MNG_INST_PRD -A Dump > $HOME/tmp/Dump_MNG_INST_PRD.log 2>&1'
</syntaxhighlight>
 
====Mise en exploitation====
Mise en place de la cron :
<syntaxhighlight lang="sh" line>
mv $HOME/CrontabRef_MNG_INST_PRD $HOME/CrontabRef
vi $HOME/CrontabRef
crontab $HOME/CrontabRef
crontab -l
</syntaxhighlight>
 
Mise à jour du fichier CrontabRef  :
<syntaxhighlight lang="sh" line>
crontab -l > $HOME/CrontabRef
cat $HOME/CrontabRef
</syntaxhighlight>
 
====Commandes utiles====
alias intéressants :
alias intéressants :
  e DBALIAS => source l'env pour l'instance
  e DBALIAS => source l'env pour l'instance

Dernière version du 16 mai 2025 à 13:47

Généralités


Warning:
Avant toutes choses, n'allez pas plus loin si vous n'avez pas lu la section "Concepts dbSQWare" !.

Dans ce chapitre, on considèrera que SQWareCentral a été installé sur dbsqware@sqwarebox ...

Limites de cette section

Ce chapitre ne traite que de l'ajout d'une nouvelle instance sur un socle déjà paramétré et fonctionnel.
Utilisez les portions qui concernent votre environnement et utilisez la méthode batch ou manuelle au choix !

MODOP général d'intégration d'une nouvelle instance MongoDB

Il y aura potentiellement 1 ou 2 cas de connexion à traiter

  • "locale", pour les machines unix (ou avec Cygwin) où l'on va faire du "mongodb" sur la machine qui porte l'instance (connexion ssh depuis dbsqware@sqwarebox), cas traité ici.
  • "distante", pour le cas où l'on n'a accès à la machine en ssh (Windows, RDS, etc, ...), c'est ce que nous allons faire maintenant.

Etapes classiques à distance :

  • Création de l'utilisateur
  • Tests "manuels"
  • Mise en exploitation de l'instance

Vous verrez que ces étapes peuvent être traitée une par une ou par batch !

Intégration d'une instance MongoDB

Mise en place de l'environnement

Général

Explication du "DbAlias" (la clé unique dbSQWare)

La clé dbSQWare doit être unique et raccord avec ce qui aura été paramétré pour la variable gvsqw_DbAlias dans sqwmng_GlobalVar.cfg !
On va utiliser une variable, MNG_SID qui n'a aucune valeur pour MongoDB mais qui va identifier l'instance dans dbSQWare.
Par "convention", on utilise souvent MNG "_" APPLI "_" ENV.
Exemple : MNG_MONAPPLI_PRD ou MNG_DEUXAPPLI_DEV ...
Mais rien n'est imposé, vous choisissez ce qui "vous arrange" ! Il faudra juste positionner la variable MNG_SID dans le profile du compte mongodb (ou autre user) avec la valeur souhaitée.

Explication des statuts
  • Une instance sera traitée en mode "local", c’est-à-dire que l’on va se connecter en "psql" en local sur la machine qui porte l’instance (accès ssh depuis dbsqware@sqwarebox), statut "ON".
  • Une instance où l’on n’aurait pas d'accès unix local serait gérée en mode "distant" (style Windows, RDS, ...), statut "DIST".
  • Le statut "OFF" fait "disparaître" l’instance de la visu web.
  • Le statut "NEW" est utilisé comme statut intermédiaire entre le début et la fin du paramétrage d'une nouvelle instance.
  • Tous les autres statuts permettent d’afficher l’instance dans le référentiel (notamment "KEEP") mais ne seront pas pris en compte par les traitements automatiques.


Résumé des statuts :

Statut Description
ON gestion locale sous unix (le plus courant)
DIST gestion uniquement à distance
KEEP statut temporaire, lors d'une maintenance par exemple ou avant suppression complète
NEW statut temporaire, lors du paramétrage
OFF suppression visuelle de l'instance (sans suppression de son paramétrage)
XXX non pris en charge ...

Déclaration de l'instance dans SQWareRepository avec SQWareWeb

Nous allons déclarer la nouvelle instance depuis l'interface d'administration de SQWareWeb.
Lien vers la console d'administration

Déclarez la nouvelle instance en statut "NEW" (Ajout ou Duplicate)
Ajout d'une instance Ajout par duplication d'une instance
Déclaration de la nouvelle instance MongoDB

Explication des champs :

Champ Description
Db Alias Clé unique qui identifie l'instance dans dbSQWare (pas de valeur pour MongoDB)
Dbms Name Type de SGBD
Virtual Host Host virtuel (meme que Host si pas cluster)
Host Name Hostname de l'instance
User Name User qui porte l'instance
Port Port d'écoute de l'instance
Comments Une courte description de ce que porte l'instance
Status Instance statut (cf plus haut pour les explications)
Contact Un contact si besoin
Environnement Environnement de l'instance (PRD, PPR, REC, DEV, TST, ...)
Client Utilisé uniquement pour filtrer (mettre un nom de client et/ou de département et/ou service ...
GlobalHost Champ libre dans lequel on met souvent l'hôte de hyperviseur par exemple
Custom1 Champ libre 1
Custom2 Champ libre 2
Regénérer les fichiers de référence de SQWareCentral

Tapez la commande suivante qui va générer les fichiers de référence : 

# From : dbsqware@sqwarebox
gen_all

Procédure spécifique pour la partie "distante" (statut DIST)

Création d'un compte MongoDB spécifique dbSQWare (Pour connexion distante)

Adaptez aux besoins en fonction de ce que vous voulez faire ...

Exemple 

mongo

Vous pouvez mettre le nom et le mot de passe que vous souhaitez !
Ce compte devra être déclaré sur le compte unix mongodb@sqwarebox ...

mongodb@sqwarebox:/home/mongodb () $ cat .passwd_mongodb
DbAlias;UserName;Passwd;HostName;Port
MNG_MONAPPLI_PRD;dbsdba;myPassword;srvdbmng01;9999

Test connexion "distante"

# From : dbsqware@sqwarebox
menu_mng TestInstConnectionDistNoMail GenLstInstanceNew

Mise en exploitation de l'instance

Mise à jour de SQWareRepository

Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance MongoDB (à NEW actuellement) avec la valeur souhaitée DIST

Test de "reprise" des indicateurs

A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !) 

# From : dbsqware@sqwarebox
repind_mng_dist

Commandes utiles

alias intéressants : 

e DBALIAS => source l'env pour l'instance
bin, etc, too ... => pour aller dans arbo SQWareProduction standard
cbin, cetc, ctoo ... => pour aller dans arbo SQWareProduction custom
log => logs SQWareProduction
dmp => on va dans les chemins de backup

Quelques options des scripts : 

-h => aide en ligne
-s => exemples en ligne
-Exec => lorsque elle est présente, si non settée ne sort que les commandes sans les exécuter

Exemples : 

mongod@my_mng_host:$HOME/admin/MNG_INST_PRD/logs/DumpAllDatabases (MNG_INST_PRD) $ bin
total 48
drwxr-x---  2 mongod mongod 4096 Aug 16 15:50 .
drwxr-x--- 15 mongod mongod 4096 Aug 16 15:50 ..
-rwxr-x---  1 mongod mongod 3071 Aug 16 15:50 sqwmng_CompactAllDatabases.ksh
-rwxr-x---  1 mongod mongod 2610 Aug 16 15:50 sqwmng_CompactDatabase.ksh
-rwxr-x---  1 mongod mongod 3774 Aug 16 15:50 sqwmng_CopyDumpAllDatabases.ksh
-rwxr-x---  1 mongod mongod 5167 Sep  6 15:12 sqwmng_CopyDumpDatabase.ksh
-rwxr-x---  1 mongod mongod 3250 Aug 16 15:50 sqwmng_DumpAllDatabases.ksh
-rwxr-x---  1 mongod mongod 2930 Aug 16 15:50 sqwmng_DumpDatabase.ksh
lrwxrwxrwx  1 mongod mongod   36 Feb 16  2021 sqwmng_ExecSQL.ksh -> ../../generic/bin/sqwgen_ExecSQL.ksh
-rwxr-x---  1 mongod mongod 2482 Aug 16 15:50 sqwmng_GatherIndicators.ksh
lrwxrwxrwx  1 mongod mongod   38 Oct  4  2014 sqwmng_NetBackup.ksh -> ../../generic/bin/sqwgen_NetBackup.ksh
lrwxrwxrwx  1 mongod mongod   40 Oct  4  2014 sqwmng_ParallelRun.ksh -> ../../generic/bin/sqwgen_ParallelRun.ksh
-rwxr-x---  1 mongod mongod 3325 Aug 16 15:50 sqwmng_RestoreAllDatabases.ksh
-rwxr-x---  1 mongod mongod 3056 Aug 16 15:50 sqwmng_RestoreDatabase.ksh
lrwxrwxrwx  1 mongod mongod   35 Oct  4  2014 sqwmng_RunJob.ksh -> ../../generic/bin/sqwgen_RunJob.ksh

mongod@my_mng_host:$HOME/SQWareProduction/mongod/bin (MNG_INST_PRD) $ 
./sqwmng_DumpAllDatabases.ksh -h
 
Sourcing sqwmng_Global.lib v2023.06 SQWareProduction for MongoDB (dbSQWare) ...

Usage: sqwmng_DumpAllDatabases.ksh [-h] -I instance [+ options]

DESCRIPTION
   sqwmng_DumpAllDatabases.ksh Dump databases in parallel
SUPPORT
   MongoDB supported versions: 2.4 <= v <= 5.1

PARAMETERS
     -I  instance       : Target instance to mongodump.
OPTIONS
     -h  help           : Display the full usage.
     -s                 : Display samples of usage.
     -P  Nb threads     : Number of threads in parallel (by default 2).
     -ID listdb         : List of databases to be dumped (by default all).
     -ED listdb         : List of databases to exclude from dump.
     -IL likeclause     : Like clause to generate databases list (example: 'db', egrep syntax!).
     -EL likeclause     : Like clause to exclude databases (example: 'nodb', egrep syntax!).
     -HI Nb_Generations : Number of generations to keep (by default 2).
     -WCD  whereclause  : Where clause to generate databases list (egrep syntax!).
     -AGR  Nb sec       : Nb of seconds between two runs (by default 1s).
     -AGE  Nb sec       : Nb of seconds between two checks of end (by default 10s).
     -FRT  return_code  : Force return code value on error.
     -Opt  option       : Additional options for mongodump.
     -Dist              : For distant connection to database (change $gvsqw_ConnectString to $gvsqw_DistConnectString ).
     -AddMail email     : Email address to add at 'pmexpdba@gmail.com'.
     -SendReport        : Send execution log report.
     -NoMail            : Deactivate sendmail on error pmexpdba@gmail.com (by default, send on error).
     -Tar               : Tar generated dump dir after mongodump (default : Tar).
     -NoTar             : Don't tar generated dump dir after mongodump (default : Tar).
     -Locale   locale   : Force Locale for help display (fr,en).
     -Exec              : Execute commands (default, display generated commands)

Enjoy !

Récupérée de "https://wikifr.dbsqware.com/index.php?title=Général:FAQ_NouvelleInstanceMongoDBDist&oldid=22891"