« Général:FAQ NouvelleInstanceMySQLDist » : différence entre les versions

← Modification précédente Modification suivante →

Version du 9 mai 2025 à 14:14

Généralités

Warning:
Avant toutes choses, n'allez pas plus loin si vous n'avez pas lu la section "Concepts dbSQWare" !.

Dans ce chapitre, on considèrera que SQWareCentral a été installé sur dbsqware@sqwarebox ...

Limites de cette section

Ce chapitre ne traite que de l'ajout d'une nouvelle instance sur un socle déjà paramétré et fonctionnel.
Utilisez les portions qui concernent votre environnement et utilisez la méthode match ou manuelle au choix !

Note:
Ici nous ne verrons que la configuration pour des instances à distance avec seulement une partie des indicateurs collectés (statut Dist) .

MODOP général d'intégration d'une nouvelle instance MySQL/MariaDB

Il y aura potentiellement 1 ou 2 cas de connexion à traiter

"locale", pour les machines unix (ou avec Cygwin) où l'on va faire du "mysql" sur la machine qui porte l'instance (connexion ssh depuis dbsqware@sqwarebox), cas traité ici.
"distante", pour le cas où l'on n'a accès à la machine en ssh (Windows, RDS, etc, ...)

Etapes classiques :

Mise en place de l'environnement
Vérification des prérequis système pour la partie "locale" (bash + rsync)
Tests "manuels"
Mise en exploitation de l'instance

Vous verrez que ces étapes peuvent être traitée une par une ou par batch !

Intégration d'une instance MySQL/MariaDB

Mise en place de l'environnement

Général

Explication du "DbAlias" (la clé unique dbSQWare)

La clé dbSQWare doit être unique et raccord avec ce qui aura été paramétré pour la variable gvsqw_DbAlias dans sqwmys_GlobalVar.cfg !
On va utiliser une variable, MYSQL_SID qui n'a aucune valeur pour MySQL/MariaDB mais qui va identifier l'instance dans dbSQWare.
Par "convention", on utilise souvent MYS "_" APPLI "_" ENV.
Exemple : MYS_MONAPPLI_PRD ou MYS_DEUXAPPLI_DEV ...
Mais rien n'est imposé, vous choisissez ce qui "vous arrange" ! Il faudra juste positionner la variable MYSQL_SID dans le profile du compte mysql avec la valeur souhaitée.

Explication des statuts

Une instance sera traitée en mode "local", c’est-à-dire que l’on va se connecter en "mysql" en local sur la machine qui porte l’instance (accès ssh depuis dbsqware@sqwarebox), statut "ON".
Une instance où l’on n’aurait pas d'accès unix local serait gérée en mode "distant" (style Windows, RDS, ...), statut "DIST".
Le statut "OFF" fait "disparaître" l’instance de la visu web.
Le statut "NEW" est utilisé comme statut intermédiaire entre le début et la fin du paramétrage d'une nouvelle instance.
Tous les autres statuts permettent d’afficher l’instance dans le référentiel (notamment "KEEP") mais ne seront pas pris en compte par les traitements automatiques.

Résumé des statuts :

Statut	Description
ON	gestion locale sous unix (le plus courant)
DIST	gestion uniquement à distance
KEEP	statut temporaire, lors d'une maintenance par exemple ou avant suppression complète
NEW	statut temporaire, lors du paramétrage
OFF	suppression visuelle de l'instance (sans suppression de son paramétrage)
XXX	non pris en charge ...

Déclaration de l'instance dans SQWareRepository avec SQWareWeb

Nous allons déclarer la nouvelle instance depuis l'interface d'administration de SQWareWeb.

Déclarez la nouvelle instance en statut "NEW" (Ajout ou Duplicate)

Explication des champs :

Champ	Description
Db Alias	Clé unique qui identifie l'instance dans dbSQWare (pas de valeur pour MySQL/MariaDB)
Dbms Name	Type de SGBD
Virtual Host	Host virtuel (meme que Host si pas cluster)
Host Name	Hostname de l'instance
User Name	User qui porte l'instance
Port	Port d'écoute de l'instance
Comments	Une courte description de ce que porte l'instance
Status	Instance statut (cf plus haut pour les explications)
Contact	Un contact si besoin
Environnement	Environnement de l'instance (PRD, PPR, REC, DEV, TST, ...)
Client	Utilisé uniquement pour filtrer (mettre un nom de client et/ou de département et/ou service ...
GlobalHost	Champ libre dans lequel on met souvent l'hôte de hyperviseur par exemple
Custom1	Champ libre 1
Custom2	Champ libre 2

Regénérer les fichiers de référence de SQWareCentral

Tapez la commande suivante qui va générer les fichiers de référence :

# From : dbsqware@sqwarebox
gen_all

Procédure spécifique pour la partie "distante" (statut DIST)

Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion distante)

Exemple pour une connexion "distante"

grant all privileges on *.* to 'DBSDBA'@'%' IDENTIFIED BY 'NePasMettreCePassword!' with grant option;

/* ou */
create user 'DBSDBA'@'%' IDENTIFIED BY 'NePasMettreCePassword!';
grant all privileges on *.* to 'DBSDBA'@'%' with grant option;
flush privileges;

Vous pouvez mettre le nom et le mot de passe que vous souhaitez !
Ce compte devra être déclaré sur le compte unix mysql@sqwarebox ...

 vi /home/mysql/.passwd_mysql
 DbAlias;UserName;Passwd;HostName;Port
 MYS_APPLI_PRD;DBSDBA;NePasMettreCePassword!;srvdbmys01;3306

Test connexion "distante"

# From : dbsqware@sqwarebox
menu_mys TestInstConnectionDistNoMail GenLstInstanceNew

Mise en exploitation de l'instance

Mise à jour de SQWareRepository

Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance MySQL/MariaDB (à NEW actuellement) avec la valeur souhaitée DIST

Test de "reprise" des indicateurs

A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !)

# From : dbsqware@sqwarebox
repind_mys_dist

Exploitation (stats, backups, …) pour les instance "ON"

Génération des conf SQWareProduction

Si vous avez suivi la procédure d’insertion de l’instance, cette partie est déjà fait par l’étape "menu_mys GenDefConf_SQWareProduction GenLstInstanceNew".
Vous pouvez vérifier avec le chapitre suivant.

Se connecter à la machine qui porte l'instance « MySQL/MariaDB » et taper les commandes suivantes :

# From dbsqware@vmyswarebox
c MYS_INST_PRD

#Source de l'env si multi-instance (from mysql@my_mysql_host)
e MYS_INST_PRD

too
./sqwmys_GenerateCreateInstance.ksh -dbsOnly

Vérifier que ce qui est proposé est bon et tapez « y » si c’est le cas.
A ce moment, vous avez généré les fichiers de configuration par défaut de SQWareProduction.

Explications

Les étapes précédentes ont créé certains fichiers par défaut. ($HOME/MYS_INST_PRD/sqwConfig)

#Entrez le nom de l’instance
e MYS_INST_PRD
cfg
cat sqwmys_Jobs.cfg

#############################################
#IndicDba: Gather DBAs indicators
IndicDba:$gvsqw_MysBin/sqwmys_GatherIndicators.ksh -I MYS_INST_PRD

#Dump: backup all databases with mysqlDump
Dump:$gvsqw_MysBin/sqwmys_DumpAllDatabases.ksh -I MYS_INST_PRD -Exec

#Optimize : optimize tables for all databases
Optimize:$gvsqw_MysBin/sqwmys_OptimizeAllDatabases.ksh -I MYS_INST_PRD -Exec

#Analyse : analyze tables for all databases
Analyze:$gvsqw_MysBin/sqwmys_AnalyzeAllDatabases.ksh -I MYS_INST_PRD -Exec

#XtraFull: Backup full with XtraBackup
XtraFull:$gvsqw_MysBin/sqwmys_XtraBackup.ksh -I MYS_INST_PRD -Type full -Exec

#XtraInc: Backup incremental with XtraBackup
XtraInc:$gvsqw_MysBin/sqwmys_XtraBackup.ksh -I MYS_INST_PRD -Type inc -Exec

#MariaFull: Backup full with MariaBackup
MariaFull:$gvsqw_MysBin/sqwmys_MariaBackup.ksh -I MYS_INST_PRD -Type full -Exec

#MariaInc: Backup incremental with MariaBackup
MariaInc:$gvsqw_MysBin/sqwmys_MariaBackup.ksh -I MYS_INST_PRD -Type inc -Exec

#PurgeAlert: Rotate error log
PurgeAlert:$gvsqw_MysBin/sqwmys_PurgeAlert.ksh -I MYS_INST_PRD

C’est un fichier de paramétrage qui est utilisé par le script sqwmys_RunJob.ksh pour exécuter des actions.

Fichier pour une cron par défaut $HOME/CrontabRef_MYS_INST_PRD :

## mm(0-59) hh(0-23) dd(1-31) MM(0-12) DAY(0-sunday, 1-monday, ...) command
## MYS_INST_PRD
#Purge alert
00 08 * * 0 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A PurgeAlert > $HOME/tmp/PurgeAlert_MYS_INST_PRD.log 2>&1'
# Dump
00 20 * * * bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Dump > $HOME/tmp/Dump_MYS_INST_PRD.log 2>&1'
# Optimize
00 04 * * 6 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Optimize > $HOME/tmp/Optimize_MYS_INST_PRD.log 2>&1'
# Analyze
00 05 * * 6 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Analyze > $HOME/tmp/Analyze_MYS_INST_PRD.log 2>&1'
# XtraBackup
#00 21 * * 6   bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A XtraFull > $HOME/tmp/XtraFull_MYS_INST_PRD.log 2>&1'
#00 21 * * 1-5 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A XtraInc > $HOME/tmp/XtraInc_MYS_INST_PRD.log 2>&1'
# MariaBackup
#00 21 * * 6   bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A MariaFull > $HOME/tmp/MariaFull_MYS_INST_PRD.log 2>&1'
#00 21 * * 1-5 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A MariaInc > $HOME/tmp/MariaInc_MYS_INST_PRD.log 2>&1'

Mise en exploitation

Mise en place de la cron :

mv $HOME/CrontabRef_MYS_INST_PRD $HOME/CrontabRef
vi $HOME/CrontabRef
crontab $HOME/CrontabRef
crontab -l

Mise à jour du fichier CrontabRef :

crontab -l > $HOME/CrontabRef
cat $HOME/CrontabRef

Commandes utiles

alias intéressants :

e DBALIAS => source l'env pour l'instance
bin, etc, too ... => pour aller dans arbo SQWareProduction standard
cbin, cetc, ctoo ... => pour aller dans arbo SQWareProduction custom
log => logs SQWareProduction
dmp => on va dans les chemins de backup

Quelques options des scripts :

-h => aide en ligne
-s => exemples en ligne
-Exec => lorsque elle est présente, si non settée ne sort que les commandes sans les exécuter

Exemples :

mysql@my_mysql_host:$HOME/admin/MYS_INST_PRD/logs/DumpAllDatabases (MYS_DBA_PRD) $ bin
total 100
drwxr-x---  2 dbsqware dba 4096 Sep  6 14:09 .
drwxr-x--- 15 dbsqware dba  187 Aug 16 15:50 ..
-rwxr-x---  1 dbsqware dba 2957 Aug 16 15:50 sqwmys_AnalyzeAllDatabases.ksh
-rwxr-x---  1 dbsqware dba 2514 Aug 16 15:50 sqwmys_AnalyzeDatabase.ksh
-rwxr-x---  1 dbsqware dba 2608 Aug 16 15:50 sqwmys_CheckAllDatabases.ksh
-rwxr-x---  1 dbsqware dba 2257 Aug 16 15:50 sqwmys_CheckDatabase.ksh
-rwxr-x---  1 dbsqware dba 5418 Aug 16 15:50 sqwmys_CopyDumpAllDatabases.ksh
-rwxr-x---  1 dbsqware dba 5324 Aug 16 15:50 sqwmys_CopyDumpDatabase.ksh
-rwxr-x---  1 dbsqware dba 5610 Sep  6 10:45 sqwmys_CopyMariaBackup.ksh
-rwxr-x---  1 dbsqware dba 5594 Sep  6 14:08 sqwmys_CopyXtraBackup.ksh
-rwxr-x---  1 dbsqware dba 3248 Aug 16 15:50 sqwmys_DumpAllDatabases.ksh
-rwxr-x---  1 dbsqware dba 3541 Aug 16 15:50 sqwmys_DumpDatabase.ksh
lrwxrwxrwx  1 dbsqware dba   36 Jan  2  2022 sqwmys_ExecSQL.ksh -> ../../generic/bin/sqwgen_ExecSQL.ksh
-rwxr-x---  1 dbsqware dba 2455 Aug 16 15:50 sqwmys_GatherIndicators.ksh
-rwxr-x---  1 dbsqware dba 2454 Aug 16 15:50 sqwmys_GatherStructure.ksh
-rwxr-x---  1 dbsqware dba 3043 Aug 16 15:50 sqwmys_MariaBackup.ksh
lrwxrwxrwx  1 dbsqware dba   38 Jan  2  2022 sqwmys_NetBackup.ksh -> ../../generic/bin/sqwgen_NetBackup.ksh
-rwxr-x---  1 dbsqware dba 2959 Aug 16 15:50 sqwmys_OptimizeAllDatabases.ksh
-rwxr-x---  1 dbsqware dba 2522 Aug 16 15:50 sqwmys_OptimizeDatabase.ksh
lrwxrwxrwx  1 dbsqware dba   40 Jan  2  2022 sqwmys_ParallelRun.ksh -> ../../generic/bin/sqwgen_ParallelRun.ksh
-rwxr-x---  1 dbsqware dba 2252 Aug 16 15:50 sqwmys_PurgeAlert.ksh
-rwxr-x---  1 dbsqware dba 3855 Aug 16 15:50 sqwmys_RestoreAllDatabases.ksh
-rwxr-x---  1 dbsqware dba 3463 Aug 16 15:50 sqwmys_RestoreDatabase.ksh
-rwxr-x---  1 dbsqware dba 3825 Aug 16 15:50 sqwmys_RotateLogSlowQuery.ksh
lrwxrwxrwx  1 dbsqware dba   40 Jan  2  2022 sqwmys_RsyncBackup.ksh -> ../../generic/bin/sqwgen_RsyncBackup.ksh
lrwxrwxrwx  1 dbsqware dba   35 Jan  2  2022 sqwmys_RunJob.ksh -> ../../generic/bin/sqwgen_RunJob.ksh
-rwxr-x---  1 dbsqware dba 3025 Aug 16 15:50 sqwmys_XtraBackup.ksh

mysql@my_mysql_host:$HOME/SQWareProduction/mysql/bin (MYS_INST_PRD) $ 
./sqwmys_DumpAllDatabases.ksh -h

Sourcing sqwmys_Global.lib v2023.06 SQWareProduction for MySQL (dbSQWare) ...

Usage: sqwmys_DumpAllDatabases.ksh [-h] -I instance [+ options]

DESCRIPTION
   sqwmys_DumpAllDatabases.ksh dump databases in parallel
SUPPORT
   MySql   supported versions: 5.0 <= v <= 8
   MariaDB supported versions: 5.5 <= v <= 11.6

PARAMETERS
     -I  instance       : Target instance to mysqldump.
OPTIONS
     -h  help           : Display the full usage.
     -s                 : Display samples of usage.
     -P  Nb threads     : Number of threads in parallel (by default 2).
     -RD directory      : Directory to write dump file (default /backups/mysql/$MYSQL_SID).
     -ID listdb         : List of databases to be dumped (by default all).
     -ED listdb         : List of databases to exclude from dump.
     -IL likeclause     : Like clause to generate databases list (example: 'db%').
     -EL likeclause     : Like clause to exclude databases (example: 'nodb%').
     -HI Nb_Generations : Number of generations to keep (by default 2).
     -WCD  whereclause  : Where clause to generate databases list.
     -AGR  Nb sec       : Nb of seconds between two runs (by default 1s).
     -AGE  Nb sec       : Nb of seconds between two checks of end (by default 10s).
     -FRT  return_code  : Force return code value on error.
     -Opt  option       : Additional options for mysqldump.
     -Dist              : For distant connection to database (change $gvsqw_ConnectString to $gvsqw_DistConnectString ).
     -AddMail email     : Email address to add at 'xxx'.
     -SendReport        : Send execution log report.
     -NoMail            : Deactivate sendmail on error xxx (by default, send on error).
     -Locale   locale   : Force Locale for help display (fr,en).
     -Consistent        : Lock for consistent mode (by default, no lock).
     -Exec              : Execute commands (default, display generated commands)

Enjoy !

@@ Ligne 157 : / Ligne 157 : @@
 ==Mise en exploitation de l'instance==
-===Génération de la configuration par défaut SQWareProduction===
-/!\ Uniquement que les instances qui seront en statut "ON" !
-<syntaxhighlight lang="sh" line>
-# From : dbsqware@sqwarebox
-menu_mys GenDefConf_SQWareProduction GenLstInstanceNew
-</syntaxhighlight>
 ===Mise à jour de SQWareRepository===
 Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance MySQL/MariaDB (à NEW actuellement) avec la valeur souhaitée '''DIST'''

« Général:FAQ NouvelleInstanceMySQLDist » : différence entre les versions

Version du 9 mai 2025 à 14:14

Sommaire

Généralités

Limites de cette section

MODOP général d'intégration d'une nouvelle instance MySQL/MariaDB

Intégration d'une instance MySQL/MariaDB

Mise en place de l'environnement

Général

Explication du "DbAlias" (la clé unique dbSQWare)

Explication des statuts

Déclaration de l'instance dans SQWareRepository avec SQWareWeb

Regénérer les fichiers de référence de SQWareCentral

Procédure spécifique pour la partie "distante" (statut DIST)

Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion distante)

Test connexion "distante"

Mise en exploitation de l'instance

Mise à jour de SQWareRepository

Test de "reprise" des indicateurs

Exploitation (stats, backups, …) pour les instance "ON"

Génération des conf SQWareProduction

Explications

Mise en exploitation

Commandes utiles

Menu de navigation

« Général:FAQ NouvelleInstanceMySQLDist » : différence entre les versions

Version du 9 mai 2025 à 14:14

Généralités

Limites de cette section

MODOP général d'intégration d'une nouvelle instance MySQL/MariaDB

Intégration d'une instance MySQL/MariaDB

Mise en place de l'environnement

Général

Explication du "DbAlias" (la clé unique dbSQWare)

Explication des statuts

Déclaration de l'instance dans SQWareRepository avec SQWareWeb

Regénérer les fichiers de référence de SQWareCentral

Procédure spécifique pour la partie "distante" (statut DIST)

Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion distante)

Test connexion "distante"

Mise en exploitation de l'instance

Mise à jour de SQWareRepository

Test de "reprise" des indicateurs

Exploitation (stats, backups, …) pour les instance "ON"

Génération des conf SQWareProduction

Explications

Mise en exploitation

Commandes utiles

Menu de navigation

Rechercher

« Général:FAQ NouvelleInstanceMySQLDist » : différence entre les versions