SQWareProduction:mongodb

Presentation

Utilisation

C'est le module d'exploitation local de mongodb.
Il est entierement ecrit en ksh et sql.
Il permet les operations d'exploitation pour mongodb.
Exemples d'utilisations de l'outil:

• Backup
• Recovery
• Compute statistics
• Indicators collection to store in referential database SQWareRepository
• Rotate logs
• ....

This module is deployed locally on the machine hosting the authorities to manage, in order to avoid any points of weakness related to an NFS mount or whatever. The deployment is done through a simple command SQWareCentral module using inventory located in SQWareRepository !
Guide d'installation de SQWareProduction pour mongodb

Explication des repertoires

Repertoires se trouvant dans $gvsqw_MngBin:

• bin : Repertoires contenant standard scripts
• bin_cust : Repertoires contenant customs scripts for your environnement
• etc : Repertoires contenant the standard files of configuration
• etc_cust : Repertoires contenant the customs files of configuration for your environnement (overload standards)
• help : Repertoires contenant the standard files of help
• help_cust : Repertoires contenant the customs files of help for your environnement
• lib : Repertoires contenant the generic shell function librairies
• lib_cust : Repertoires contenant the generic shell function librairies (overload standards)
• spm : Contain sql query toolkit
• tools : Repertoires contenant the standard scripts used on an ad hoc
• tools_cust : Repertoires contenant the customs scripts used on an ad hoc for your environnement
• menu : Repertoires contenant the standard menus
• menu_cust : Repertoires contenant the custom menus for your environnement

Convention de nommage de fichiers

La majorite des fichiers sont nommes avec suffixes:

• *.ksh : pour les scripts
• *.cfg : pour les fichiers de configuration
• *.lib : pour les librairies de fonctions
• *.hlp : pour les fichiers d'aide

Convention de nommage dans les scripts

En général, la convention de nommage suivante est utilisée dans tous les scripts de SQWareProduction:

• gvsqw_ {}: variable globale initialisée par l'environnement et/ou la lib générique
• lvsqw_ {}: variable locale initialisée par le script et/ou une lib spécifique
• gfsqw_ {}: fonction définie par une lib générique
• lfsqw_ {}: fonction définie par le script et/ou une lib spécifique

bin

sqwmng_CompactAllDatabases.ksh

Script $gvsqw_MngBin/bin/sqwmng_CompactAllDatabases.ksh:

compact de toutes les databases en parallele Voir l'aide detaillee pour sqwmng_CompactAllDatabases.ksh

sqwmng_CompactDatabase.ksh

Script $gvsqw_MngBin/bin/sqwmng_CompactDatabase.ksh:

Voir l'aide detaillee pour sqwmng_CompactDatabase.ksh

sqwmng_CopyDumpAllDatabases.ksh

Script $gvsqw_MngBin/bin/sqwmng_CopyDumpAllDatabases.ksh:

copie de fichiers dump de toutes les databases en parallele Voir l'aide detaillee pour sqwmng_CopyDumpAllDatabases.ksh

sqwmng_CopyDumpDatabase.ksh

Script $gvsqw_MngBin/bin/sqwmng_CopyDumpDatabase.ksh:

copie des fichiers dump $lvsqw_CopyType Voir l'aide detaillee pour sqwmng_CopyDumpDatabase.ksh

sqwmng_DumpAllDatabases.ksh

Script $gvsqw_MngBin/bin/sqwmng_DumpAllDatabases.ksh:

Dump des databases en parallele Voir l'aide detaillee pour sqwmng_DumpAllDatabases.ksh

sqwmng_DumpDatabase.ksh

Script $gvsqw_MngBin/bin/sqwmng_DumpDatabase.ksh:

mongodump de la database Voir l'aide detaillee pour sqwmng_DumpDatabase.ksh

sqwmng_ExecSQL.ksh

Script $gvsqw_MngBin/bin/sqwmng_ExecSQL.ksh:

execute un fichier SQL sur l'instance Voir l'aide detaillee pour sqwmng_ExecSQL.ksh

sqwmng_GatherIndicators.ksh

Script $gvsqw_MngBin/bin/sqwmng_GatherIndicators.ksh:

collecte les indicateurs DBA Voir l'aide detaillee pour sqwmng_GatherIndicators.ksh

sqwmng_NetBackup.ksh

Script $gvsqw_MngBin/bin/sqwmng_NetBackup.ksh:

backup avec NetBackup des fichiers dump/backup Voir l'aide detaillee pour sqwmng_NetBackup.ksh

sqwmng_ParallelRun.ksh

Script $gvsqw_MngBin/bin/sqwmng_ParallelRun.ksh:

Gere l'execution de commandes unix en parallele
Prend en parametre un fichier avec les commandes a executer
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Voir l'aide detaillee pour sqwmng_ParallelRun.ksh

sqwmng_RestoreAllDatabases.ksh

Script $gvsqw_MngBin/bin/sqwmng_RestoreAllDatabases.ksh:

restore de toutes les databases en parallele Voir l'aide detaillee pour sqwmng_RestoreAllDatabases.ksh

sqwmng_RestoreDatabase.ksh

Script $gvsqw_MngBin/bin/sqwmng_RestoreDatabase.ksh:

Restore database Voir l'aide detaillee pour sqwmng_RestoreDatabase.ksh

sqwmng_RunJob.ksh

Script $gvsqw_MngBin/bin/sqwmng_RunJob.ksh:

Execute les scripts pour MongoDB et genere les fichiers log et erreur
base sur le fichier de configuration $gvsqw_RootCfg/sqwmng_Jobs.cfg
compresse et purge les logs les plus anciennes Voir l'aide detaillee pour sqwmng_RunJob.ksh

etc

sqwmng_CreInst_CrontabRef.cfg

Fichier de configuration $gvsqw_MngBin/../etc/sqwmng_CreInst_CrontabRef.cfg:


Voir l'aide detaillee pour sqwmng_CreInst_CrontabRef.cfg

sqwmng_CreInst_Jobs.cfg

Fichier de configuration $gvsqw_MngBin/../etc/sqwmng_CreInst_Jobs.cfg:


Voir l'aide detaillee pour sqwmng_CreInst_Jobs.cfg

sqwmng_GlobalVar.cfg

Fichier de configuration $gvsqw_MngBin/../etc/sqwmng_GlobalVar.cfg:
Global var for MongoDB
Contient les variables operationnelles de SQWareProduction.

Voir l'aide detaillee pour sqwmng_GlobalVar.cfg

.profile

Exemple de .profile $gvsqw_MngBin/../etc/.profile:
Exemple de lignes a ajouter au .profile pour les users mongodb.
Voir l'aide detaillee pour .profile

.profile_confort

Fichier pour mettre les aliases $gvsqw_MngBin/../etc/.profile_confort:
Contenu des aliases de confort de SQWareProduction pour mongodb.
Modèle:SQWareProductionSurchargeConfort
Voir l'aide detaillee pour .profile_confort

lib

sqwmng_CompactAllDatabases.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_CompactAllDatabases.lib:
lib for sqwmng_CompactAllDatabases.ksh

Voir l'aide detaillee pour sqwmng_CompactAllDatabases.lib

sqwmng_CompactDatabase.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_CompactDatabase.lib:
lib for sqwmng_CompactDatabase.ksh

Voir l'aide detaillee pour sqwmng_CompactDatabase.lib

sqwmng_CopyDumpAllDatabases.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_CopyDumpAllDatabases.lib:
lib for sqwmng_CopyDumpAllDatabases.ksh

Voir l'aide detaillee pour sqwmng_CopyDumpAllDatabases.lib

sqwmng_CopyDumpDatabase.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_CopyDumpDatabase.lib:
lib for sqwmng_CopyDumpDatabase.ksh

Voir l'aide detaillee pour sqwmng_CopyDumpDatabase.lib

sqwmng_DumpAllDatabases.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_DumpAllDatabases.lib:
lib for sqwmng_DumpAllDatabases.ksh

Voir l'aide detaillee pour sqwmng_DumpAllDatabases.lib

sqwmng_DumpDatabase.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_DumpDatabase.lib:
lib for sqwmng_DumpDatabase.ksh

Voir l'aide detaillee pour sqwmng_DumpDatabase.lib

sqwmng_GatherIndicators.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_GatherIndicators.lib:
lib for sqwmng_GatherIndicators.ksh

Voir l'aide detaillee pour sqwmng_GatherIndicators.lib

sqwmng_GatherIndicators_Overload.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_GatherIndicators_Overload.lib:
lib for overLoad sqwmng_GatherIndicators.ksh

Voir l'aide detaillee pour sqwmng_GatherIndicators_Overload.lib

sqwmng_GenerateCreateInstance.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_GenerateCreateInstance.lib:
lib for generate create instance

Voir l'aide detaillee pour sqwmng_GenerateCreateInstance.lib

sqwmng_Global.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_Global.lib:
central lib of generic fonctions for mongodb

Voir l'aide detaillee pour sqwmng_Global.lib

sqwmng_NetBackup.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_NetBackup.lib:
lib for sqwgen_NetBackup.ksh

Voir l'aide detaillee pour sqwmng_NetBackup.lib

sqwmng_RestoreAllDatabases.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_RestoreAllDatabases.lib:
lib for sqwmng_RestoreAllDatabases.ksh

Voir l'aide detaillee pour sqwmng_RestoreAllDatabases.lib

sqwmng_RestoreDatabase.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_RestoreDatabase.lib:
lib for sqwmng_RestoreDatabase.ksh

Voir l'aide detaillee pour sqwmng_RestoreDatabase.lib

sqwmng_SetEnv.lib

librairies de fonctions shell $gvsqw_MngBin/../lib/sqwmng_SetEnv.lib:
fonction to set env for $MNG_SID

Voir l'aide detaillee pour sqwmng_SetEnv.lib

tools

sqwmng_Crypt.ksh

Script $gvsqw_MngBin/../tools/sqwmng_Crypt.ksh:
Generic script to crypt file with openssl Voir l'aide detaillee pour sqwmng_Crypt.ksh

sqwmng_GenerateCreateInstance.ksh

Script $gvsqw_MngBin/../tools/sqwmng_GenerateCreateInstance.ksh:
Generate create instance files Voir l'aide detaillee pour sqwmng_GenerateCreateInstance.ksh

sqwmng_ListAsyncFilesGlobal.ksh

Script $gvsqw_MngBin/../tools/sqwmng_ListAsyncFilesGlobal.ksh:
List Async files (sql, log, mail) to upload in SQWareCentral (all in a directory) Voir l'aide detaillee pour sqwmng_ListAsyncFilesGlobal.ksh

sqwmng_ListAsyncFiles.ksh

Script $gvsqw_MngBin/../tools/sqwmng_ListAsyncFiles.ksh:
List Async files (sql, log, mail) to upload in SQWareCentral Voir l'aide detaillee pour sqwmng_ListAsyncFiles.ksh

sqwmng_SetEnv.ksh

Script $gvsqw_MngBin/../tools/sqwmng_SetEnv.ksh:
set env for $MNG_SID
Modèle:SQWareProductionSurchargeToo Voir l'aide detaillee pour sqwmng_SetEnv.ksh

sqwmng_TestInstConnection.ksh

Script $gvsqw_MngBin/../tools/sqwmng_TestInstConnection.ksh:
Test instance connection Voir l'aide detaillee pour sqwmng_TestInstConnection.ksh

sqwmng_TestMySQL.ksh

Script $gvsqw_MngBin/../tools/sqwmng_TestMySQL.ksh:
Generic test MySQL connection script Voir l'aide detaillee pour sqwmng_TestMySQL.ksh

sqwmng_TestSendmail.ksh

Script $gvsqw_MngBin/../tools/sqwmng_TestSendmail.ksh:
Generic test sendmail script Voir l'aide detaillee pour sqwmng_TestSendmail.ksh

sqwmng_Uncrypt.ksh

Script $gvsqw_MngBin/../tools/sqwmng_Uncrypt.ksh:
Generic script to uncrypt file with openssl Voir l'aide detaillee pour sqwmng_Uncrypt.ksh

help

Contenu des fichiers d'aide pour l'option "-s" des scripts bin.

spm

Outil de requetes SQL
Voir l'aide detaillee pour spm