SQWareProduction:mysql

Presentation

Utilisation

C'est le module d'exploitation local de mysql.
Il est entierement ecrit en ksh et sql.
Il permet les operations d'exploitation pour mysql.
Exemples d'utilisations de l'outil:

• Backup
• Recovery
• Compute statistics
• Indicators collection to store in referential database SQWareRepository
• Rotate logs
• ....

This module is deployed locally on the machine hosting the authorities to manage, in order to avoid any points of weakness related to an NFS mount or whatever. The deployment is done through a simple command SQWareCentral module using inventory located in SQWareRepository !
Guide d'installation de SQWareProduction pour mysql

Explication des repertoires

Repertoires se trouvant dans $gvsqw_MysBin:

• bin : Repertoires contenant standard scripts
• bin_cust : Repertoires contenant customs scripts for your environnement
• etc : Repertoires contenant the standard files of configuration
• etc_cust : Repertoires contenant the customs files of configuration for your environnement (overload standards)
• help : Repertoires contenant the standard files of help
• help_cust : Repertoires contenant the customs files of help for your environnement
• lib : Repertoires contenant the generic shell function librairies
• lib_cust : Repertoires contenant the generic shell function librairies (overload standards)
• spm : Contain sql query toolkit
• tools : Repertoires contenant the standard scripts used on an ad hoc
• tools_cust : Repertoires contenant the customs scripts used on an ad hoc for your environnement
• menu : Repertoires contenant the standard menus
• menu_cust : Repertoires contenant the custom menus for your environnement

Convention de nommage de fichiers

La majorite des fichiers sont nommes avec suffixes:

• *.ksh : pour les scripts
• *.cfg : pour les fichiers de configuration
• *.lib : pour les librairies de fonctions
• *.hlp : pour les fichiers d'aide

Convention de nommage dans les scripts

En général, la convention de nommage suivante est utilisée dans tous les scripts de SQWareProduction:

• gvsqw_ {}: variable globale initialisée par l'environnement et/ou la lib générique
• lvsqw_ {}: variable locale initialisée par le script et/ou une lib spécifique
• gfsqw_ {}: fonction définie par une lib générique
• lfsqw_ {}: fonction définie par le script et/ou une lib spécifique

bin

sqwmys_AnalyzeAllDatabases.ksh

Script $gvsqw_MysBin/bin/sqwmys_AnalyzeAllDatabases.ksh:

Execution de sqwmys_AnalyzeDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de la database
• Liste d'exclusion de la database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwmys_AnalyzeAllDatabases.ksh

sqwmys_AnalyzeDatabase.ksh

Script $gvsqw_MysBin/bin/sqwmys_AnalyzeDatabase.ksh:

Analyze toutes les tables de la base
Commande utilisee: analyse local table <TableName> Voir l'aide detaillee pour sqwmys_AnalyzeDatabase.ksh

sqwmys_CheckAllDatabases.ksh

Script $gvsqw_MysBin/bin/sqwmys_CheckAllDatabases.ksh:

check des databases en parallele Voir l'aide detaillee pour sqwmys_CheckAllDatabases.ksh

sqwmys_CheckDatabase.ksh

Script $gvsqw_MysBin/bin/sqwmys_CheckDatabase.ksh:

mysqlcheck de la base Voir l'aide detaillee pour sqwmys_CheckDatabase.ksh

sqwmys_CopyDumpAllDatabases.ksh

Script $gvsqw_MysBin/bin/sqwmys_CopyDumpAllDatabases.ksh:

copie des dump de toutes les databases en parallele Voir l'aide detaillee pour sqwmys_CopyDumpAllDatabases.ksh

sqwmys_CopyDumpDatabase.ksh

Script $gvsqw_MysBin/bin/sqwmys_CopyDumpDatabase.ksh:

copie des dump \$lvsqw_CopyType Voir l'aide detaillee pour sqwmys_CopyDumpDatabase.ksh

sqwmys_DumpAllDatabases.ksh

Script $gvsqw_MysBin/bin/sqwmys_DumpAllDatabases.ksh:

Execution de sqwmys_DumpDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de la database
• Liste d'exclusion de la database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwmys_DumpAllDatabases.ksh

sqwmys_DumpDatabase.ksh

Script $gvsqw_MysBin/bin/sqwmys_DumpDatabase.ksh:

Genere un mysqldump de la database compresse par pipe
Le script purge automatiquement les anciennes generations
Vous pouvez choisir:

• differente police de retention
• ajouter des options a mysqldump command
• execute le dump en mode consistent

Voir l'aide detaillee pour sqwmys_DumpDatabase.ksh

sqwmys_ExecSQL.ksh

Script $gvsqw_MysBin/bin/sqwmys_ExecSQL.ksh:

execute un fichier SQL sur l'instance Voir l'aide detaillee pour sqwmys_ExecSQL.ksh

sqwmys_GatherIndicators.ksh

Script $gvsqw_MysBin/bin/sqwmys_GatherIndicators.ksh:

Collecte les indicateurs MySql et les remonte dans SQWareRepository
Resume de collecte:

• Volumetrie de l'instance
• Volumetrie des databases
• Volumetrie (use, free) des FS
• Version, options, configuration, ... de l'instance

Voir l'aide detaillee pour sqwmys_GatherIndicators.ksh

sqwmys_GatherStructure.ksh

Script $gvsqw_MysBin/bin/sqwmys_GatherStructure.ksh:

Collecte les structure MySql et les remonte dans SQWareRepository
Resume de collecte:

• Tables liste et options
• Colonnes liste, types et options
• Indexes liste, colonnes et options

Voir l'aide detaillee pour sqwmys_GatherStructure.ksh

sqwmys_MariaBackup.ksh

Script $gvsqw_MysBin/bin/sqwmys_MariaBackup.ksh:

Genere MariaBackup de l'instance
Le script purge automatiquement les anciennes generations
Vous pouvez choisir:

• differente police de retention
• different backup type full,inc
• ajouter des options a la commande MariaBackup

Voir l'aide detaillee pour sqwmys_MariaBackup.ksh

sqwmys_NetBackup.ksh

Script $gvsqw_MysBin/bin/sqwmys_NetBackup.ksh:

backup avec NetBackup des fichiers dump/backup Voir l'aide detaillee pour sqwmys_NetBackup.ksh

sqwmys_OptimizeAllDatabases.ksh

Script $gvsqw_MysBin/bin/sqwmys_OptimizeAllDatabases.ksh:

Execution de sqwmys_OptimizeDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwmys_OptimizeAllDatabases.ksh

sqwmys_OptimizeDatabase.ksh

Script $gvsqw_MysBin/bin/sqwmys_OptimizeDatabase.ksh:

Reorganisation de toutes les tables de la database
Commande utilisee: optimize local table <TableName> Voir l'aide detaillee pour sqwmys_OptimizeDatabase.ksh

sqwmys_ParallelRun.ksh

Script $gvsqw_MysBin/bin/sqwmys_ParallelRun.ksh:

Gere l'execution de commandes unix en parallele
Prend en parametre un fichier avec les commandes a executer
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Voir l'aide detaillee pour sqwmys_ParallelRun.ksh

sqwmys_PurgeAlert.ksh

Script $gvsqw_MysBin/bin/sqwmys_PurgeAlert.ksh:

Rotatation de l'error log de instance
Archive et purge Voir l'aide detaillee pour sqwmys_PurgeAlert.ksh

sqwmys_RestoreAllDatabases.ksh

Script $gvsqw_MysBin/bin/sqwmys_RestoreAllDatabases.ksh:

restauration de toutes les bases en parallele Voir l'aide detaillee pour sqwmys_RestoreAllDatabases.ksh

sqwmys_RestoreDatabase.ksh

Script $gvsqw_MysBin/bin/sqwmys_RestoreDatabase.ksh:

Voir l'aide detaillee pour sqwmys_RestoreDatabase.ksh

sqwmys_RotateLogSlowQuery.ksh

Script $gvsqw_MysBin/bin/sqwmys_RotateLogSlowQuery.ksh:

Effectue la rotation du slow_query_log_file
Archive, purge et copie sur SQWareWeb
Vous pouvez choisir de ne pas copier sur SQWareWeb Voir l'aide detaillee pour sqwmys_RotateLogSlowQuery.ksh

sqwmys_RsyncBackup.ksh

Script $gvsqw_MysBin/bin/sqwmys_RsyncBackup.ksh:

rsync dir (sans delete) vers un autre host Voir l'aide detaillee pour sqwmys_RsyncBackup.ksh

sqwmys_RunJob.ksh

Script $gvsqw_MysBin/bin/sqwmys_RunJob.ksh:

Execute les scripts pour MySQL et genere les fichiers log et erreur
base sur le fichier de configuration $gvsqw_RootCfg/sqwmys_Jobs.cfg
compresse et purge les logs les plus anciennes Voir l'aide detaillee pour sqwmys_RunJob.ksh

sqwmys_XtraBackup.ksh

Script $gvsqw_MysBin/bin/sqwmys_XtraBackup.ksh:

Genere XtraBackup de l'instance
Script purge les anciennes generations automatiquement
Vous pouvez choisir:

• differente politique de retention
• different backup type full,inc
• ajouter des options a la commande XtraBackup

Voir l'aide detaillee pour sqwmys_XtraBackup.ksh

etc

sqwmys_CreInst_CrontabRef.cfg

Fichier de configuration $gvsqw_MysBin/../etc/sqwmys_CreInst_CrontabRef.cfg:


Voir l'aide detaillee pour sqwmys_CreInst_CrontabRef.cfg

sqwmys_CreInst_Jobs.cfg

Fichier de configuration $gvsqw_MysBin/../etc/sqwmys_CreInst_Jobs.cfg:


Voir l'aide detaillee pour sqwmys_CreInst_Jobs.cfg

sqwmys_CreInst_MyCnf_51.cfg

Fichier de configuration $gvsqw_MysBin/../etc/sqwmys_CreInst_MyCnf_51.cfg:


Voir l'aide detaillee pour sqwmys_CreInst_MyCnf_51.cfg

sqwmys_GlobalVar.cfg

Fichier de configuration $gvsqw_MysBin/../etc/sqwmys_GlobalVar.cfg:
Global var for Mysql
Contient les variables operationnelles de SQWareProduction.

Voir l'aide detaillee pour sqwmys_GlobalVar.cfg

.profile

Exemple de .profile $gvsqw_MysBin/../etc/.profile:
Exemple de lignes a ajouter au .profile pour les users mysql.
Voir l'aide detaillee pour .profile

.profile_confort

Fichier pour mettre les aliases $gvsqw_MysBin/../etc/.profile_confort:
Contenu des aliases de confort de SQWareProduction pour mysql.
Modèle:SQWareProductionSurchargeConfort
Voir l'aide detaillee pour .profile_confort

lib

sqwmys_AnalyzeAllDatabases.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_AnalyzeAllDatabases.lib:
lib for sqwmys_AnalyzeAllDatabases.ksh

Voir l'aide detaillee pour sqwmys_AnalyzeAllDatabases.lib

sqwmys_AnalyzeDatabase.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_AnalyzeDatabase.lib:
lib for sqwmys_AnalyzeDatabase.ksh

Voir l'aide detaillee pour sqwmys_AnalyzeDatabase.lib

sqwmys_CheckAllDatabases.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_CheckAllDatabases.lib:
lib for sqwmys_CheckAllDatabases.ksh

Voir l'aide detaillee pour sqwmys_CheckAllDatabases.lib

sqwmys_CheckDatabase.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_CheckDatabase.lib:
lib for sqwmys_CheckDatabase.ksh

Voir l'aide detaillee pour sqwmys_CheckDatabase.lib

sqwmys_CopyDumpAllDatabases.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_CopyDumpAllDatabases.lib:
lib for sqwmys_CopyDumpAllDatabases.ksh

Voir l'aide detaillee pour sqwmys_CopyDumpAllDatabases.lib

sqwmys_CopyDumpDatabase.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_CopyDumpDatabase.lib:
lib for sqwmys_CopyDumpDatabase.ksh

Voir l'aide detaillee pour sqwmys_CopyDumpDatabase.lib

sqwmys_DumpAllDatabases.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_DumpAllDatabases.lib:
lib for sqwmys_DumpDatabase.ksh

Voir l'aide detaillee pour sqwmys_DumpAllDatabases.lib

sqwmys_DumpDatabase.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_DumpDatabase.lib:
lib for sqwmys_DumpDatabase.ksh

Voir l'aide detaillee pour sqwmys_DumpDatabase.lib

sqwmys_ExecSQL.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_ExecSQL.lib:
lib for sqwmys_ExecSQL.ksh

Voir l'aide detaillee pour sqwmys_ExecSQL.lib

sqwmys_GatherIndicators.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_GatherIndicators.lib:
lib for sqwmys_GatherIndicators.ksh

Voir l'aide detaillee pour sqwmys_GatherIndicators.lib

sqwmys_GatherIndicators_Overload.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_GatherIndicators_Overload.lib:
lib for overLoad sqwmys_GatherIndicators.ksh

Voir l'aide detaillee pour sqwmys_GatherIndicators_Overload.lib

sqwmys_GatherStructure.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_GatherStructure.lib:
lib for sqwmys_GatherStructure.ksh

Voir l'aide detaillee pour sqwmys_GatherStructure.lib

sqwmys_GenerateCreateInstance.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_GenerateCreateInstance.lib:
lib for generate create instance

Voir l'aide detaillee pour sqwmys_GenerateCreateInstance.lib

sqwmys_GenericRefresh.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_GenericRefresh.lib:
lib for sqwmys_CopyDumpDatabase.ksh

Voir l'aide detaillee pour sqwmys_GenericRefresh.lib

sqwmys_Global.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_Global.lib:
central lib of generic fonctions for mysql

Voir l'aide detaillee pour sqwmys_Global.lib

sqwmys_MariaBackup.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_MariaBackup.lib:
lib for sqwmys_MariaBackup.ksh

Voir l'aide detaillee pour sqwmys_MariaBackup.lib

sqwmys_NetBackup.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_NetBackup.lib:
lib for sqwgen_NetBackup.ksh

Voir l'aide detaillee pour sqwmys_NetBackup.lib

sqwmys_OptimizeAllDatabases.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_OptimizeAllDatabases.lib:
lib for sqwmys_OptimizeAllDatabases.ksh

Voir l'aide detaillee pour sqwmys_OptimizeAllDatabases.lib

sqwmys_OptimizeDatabase.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_OptimizeDatabase.lib:
lib for sqwmys_OptimizeDatabase.ksh

Voir l'aide detaillee pour sqwmys_OptimizeDatabase.lib

sqwmys_PurgeAlert.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_PurgeAlert.lib:
lib for sqwmys_PurgeAlert.ksh

Voir l'aide detaillee pour sqwmys_PurgeAlert.lib

sqwmys_RestoreAllDatabases.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_RestoreAllDatabases.lib:
lib for sqwmys_RestoreAllDatabases.ksh

Voir l'aide detaillee pour sqwmys_RestoreAllDatabases.lib

sqwmys_RestoreDatabase.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_RestoreDatabase.lib:
lib for sqwmys_RestoreDatabase.ksh

Voir l'aide detaillee pour sqwmys_RestoreDatabase.lib

sqwmys_RotateLogSlowQuery.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_RotateLogSlowQuery.lib:
lib for sqwmys_RotateLogSlowQuery.ksh

Voir l'aide detaillee pour sqwmys_RotateLogSlowQuery.lib

sqwmys_RsyncBackup.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_RsyncBackup.lib:
lib for sqwgen_RsyncBackup.ksh.ksh

Voir l'aide detaillee pour sqwmys_RsyncBackup.lib

sqwmys_SetEnv.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_SetEnv.lib:
fonction to set env for $MYSQL_SID

Voir l'aide detaillee pour sqwmys_SetEnv.lib

sqwmys_UpdateGLPI.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_UpdateGLPI.lib:
lib for sqwmys_Update$lvsqw_DbName.ksh

Voir l'aide detaillee pour sqwmys_UpdateGLPI.lib

sqwmys_XtraBackup.lib

librairies de fonctions shell $gvsqw_MysBin/../lib/sqwmys_XtraBackup.lib:
lib for sqwmys_XtraBackup.ksh

Voir l'aide detaillee pour sqwmys_XtraBackup.lib

tools

sqwmys_ConnectMsg.ksh

Script $gvsqw_MysBin/../tools/sqwmys_ConnectMsg.ksh:
startup message Voir l'aide detaillee pour sqwmys_ConnectMsg.ksh

sqwmys_Crypt.ksh

Script $gvsqw_MysBin/../tools/sqwmys_Crypt.ksh:
Generic script to crypt file with openssl Voir l'aide detaillee pour sqwmys_Crypt.ksh

sqwmys_GaleraAdmin.ksh

Script $gvsqw_MysBin/../tools/sqwmys_GaleraAdmin.ksh:
stop/start of mysql services Voir l'aide detaillee pour sqwmys_GaleraAdmin.ksh

sqwmys_GenerateCreateInstance.ksh

Script $gvsqw_MysBin/../tools/sqwmys_GenerateCreateInstance.ksh:
Generate create instance files Voir l'aide detaillee pour sqwmys_GenerateCreateInstance.ksh

sqwmys_ListAsyncFilesGlobal.ksh

Script $gvsqw_MysBin/../tools/sqwmys_ListAsyncFilesGlobal.ksh:
List Async files (sql, log, mail) to upload in SQWareCentral (all in a directory) Voir l'aide detaillee pour sqwmys_ListAsyncFilesGlobal.ksh

sqwmys_ListAsyncFiles.ksh

Script $gvsqw_MysBin/../tools/sqwmys_ListAsyncFiles.ksh:
List Async files (sql, log, mail) to upload in SQWareCentral Voir l'aide detaillee pour sqwmys_ListAsyncFiles.ksh

sqwmys_MonitorAgentAdmin.ksh

Script $gvsqw_MysBin/../tools/sqwmys_MonitorAgentAdmin.ksh:
Mysql monitor agent services Voir l'aide detaillee pour sqwmys_MonitorAgentAdmin.ksh

sqwmys_MysqlAdmin.ksh

Script $gvsqw_MysBin/../tools/sqwmys_MysqlAdmin.ksh:
stop/start of mysql services Voir l'aide detaillee pour sqwmys_MysqlAdmin.ksh

sqwmys_SetEnv.ksh

Script $gvsqw_MysBin/../tools/sqwmys_SetEnv.ksh:
set env for $MYSQL_SID
Modèle:SQWareProductionSurchargeToo Voir l'aide detaillee pour sqwmys_SetEnv.ksh

sqwmys_TestInstConnection.ksh

Script $gvsqw_MysBin/../tools/sqwmys_TestInstConnection.ksh:
Test instance connection Voir l'aide detaillee pour sqwmys_TestInstConnection.ksh

sqwmys_TestMySQL.ksh

Script $gvsqw_MysBin/../tools/sqwmys_TestMySQL.ksh:
Generic test MySQL connection script Voir l'aide detaillee pour sqwmys_TestMySQL.ksh

sqwmys_TestSendmail.ksh

Script $gvsqw_MysBin/../tools/sqwmys_TestSendmail.ksh:
Generic test sendmail script Voir l'aide detaillee pour sqwmys_TestSendmail.ksh

sqwmys_Uncrypt.ksh

Script $gvsqw_MysBin/../tools/sqwmys_Uncrypt.ksh:
Generic script to uncrypt file with openssl Voir l'aide detaillee pour sqwmys_Uncrypt.ksh

sqwmys_UpdateGLPI.ksh

Script $gvsqw_MysBin/../tools/sqwmys_UpdateGLPI.ksh:
Update GLPI database Voir l'aide detaillee pour sqwmys_UpdateGLPI.ksh

help

Contenu des fichiers d'aide pour l'option "-s" des scripts bin.

spm

Outil de requetes SQL
Voir l'aide detaillee pour spm