Général:FAQ NouvelleInstanceMySQL : Différence entre versions
m (Admin a déplacé la page Général:NouvelleInstanceMySQL vers Général:FAQ NouvelleInstanceMySQL) |
m (→Déploiement de SQWareProduction) |
||
(16 révisions intermédiaires par 3 utilisateurs non affichées) | |||
Ligne 121 : | Ligne 121 : | ||
|} | |} | ||
=====Regénérer les fichiers de référence de SQWareCentral===== | =====Regénérer les fichiers de référence de SQWareCentral===== | ||
− | Tapez la commande suivante qui va les fichiers de référence : | + | Tapez la commande suivante qui va générer les fichiers de référence : |
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
+ | gen_all | ||
+ | </syntaxhighlight> | ||
===Procédure spécifique pour la partie "locale" (statut ON)=== | ===Procédure spécifique pour la partie "locale" (statut ON)=== | ||
Ligne 131 : | Ligne 133 : | ||
SQWareProduction étant écrit essentiellement en shell ksh et étant synchronisé depuis SQWareCentral avec rsync, il nous faut donc "ksh" et "rsync" installés ! | SQWareProduction étant écrit essentiellement en shell ksh et étant synchronisé depuis SQWareCentral avec rsync, il nous faut donc "ksh" et "rsync" installés ! | ||
− | + | =====Vérification===== | |
Adaptez à votre nom de user et nom de machine.<br> | Adaptez à votre nom de user et nom de machine.<br> | ||
<br> | <br> | ||
ksh: | ksh: | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : mysql@my_mysql_host | |
− | + | type ksh | |
− | + | #ou | |
+ | which ksh | ||
+ | </syntaxhighlight> | ||
rsync: | rsync: | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # mysql@my_mysql_host | |
− | + | type rsync | |
− | + | #ou | |
+ | which rsync | ||
+ | </syntaxhighlight> | ||
− | + | =====Installation===== | |
Adaptez à votre type de machine (sudo si vous n'êtes pas root).<br/> | Adaptez à votre type de machine (sudo si vous n'êtes pas root).<br/> | ||
<br> | <br> | ||
RedHat / CentOS / ... : | RedHat / CentOS / ... : | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : root@my_mysql_host | |
+ | yum install -y ksh rsync | ||
+ | #ou | ||
+ | dnf install -y ksh rsync | ||
+ | </syntaxhighlight> | ||
+ | |||
Ubuntu / Debian / ... : | Ubuntu / Debian / ... : | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : root@my_mysql_host | |
− | + | apt install -y ksh rsync | |
+ | </syntaxhighlight> | ||
====Modification user unix ==== | ====Modification user unix ==== | ||
Adaptez à votre type de machine (sudo si vous n'êtes pas root).<br/> | Adaptez à votre type de machine (sudo si vous n'êtes pas root).<br/> | ||
Modification du homedir (pas obligatoire mais évite de se retrouver dans /var/lib/mysql) : | Modification du homedir (pas obligatoire mais évite de se retrouver dans /var/lib/mysql) : | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : root@my_mysql_host | |
− | + | mkdir -p /home/mysql | |
− | + | chown mysql:mysql /home/mysql | |
+ | chmod 750 /home/mysql | ||
+ | </syntaxhighlight> | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | ##Stop instance (service mysql/mariadb stop -- ou -- systemctl stop mysql/mariadb) | |
− | + | usermod -d /home/mysql mysql -s /bin/bash | |
− | + | ##Start instance (service mysql/mariadb start -- ou -- systemctl start mysql/mariadb) | |
− | + | ||
− | + | #Ou directement vi /etc/passwd ! | |
+ | exemple : mysql:x:1004:989::/home/mysql:/bin/bash | ||
+ | </syntaxhighlight> | ||
Affectez un passwd au user mysql (sinon la connexion par échange de clés ne fonctionnera pas !) : | Affectez un passwd au user mysql (sinon la connexion par échange de clés ne fonctionnera pas !) : | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : root@my_mysql_host | |
+ | passwd mysql | ||
+ | </syntaxhighlight> | ||
====Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion locale)==== | ====Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion locale)==== | ||
Ligne 179 : | Ligne 197 : | ||
Exemple pour une connexion "locale" | Exemple pour une connexion "locale" | ||
− | + | <syntaxhighlight lang="sql" line> | |
− | + | grant all privileges on *.* to 'DBSDBA'@'localhost' IDENTIFIED BY 'NePasMettreCePassword!' with grant option; | |
− | + | ||
− | + | /* ou */ | |
− | + | create user 'DBSDBA'@'localhost' IDENTIFIED BY 'NePasMettreCePassword!'; | |
+ | grant all privileges on *.* to 'DBSDBA'@'localhost' with grant option; | ||
+ | </syntaxhighlight> | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : mysql@my_mysql_host | |
− | + | #Puis, création du fichier .my.cnf pour permettre la connexion sans passer de passwd | |
− | + | echo "[client] | |
− | + | password = NePasMettreCePassword! | |
− | + | " >> $HOME/.my.cnf | |
+ | chmod 600 $HOME/.my.cnf | ||
+ | </syntaxhighlight> | ||
====Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)==== | ====Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)==== | ||
Ligne 199 : | Ligne 221 : | ||
=====Déploiement de(s) clé(s) ssh : méthode batch===== | =====Déploiement de(s) clé(s) ssh : méthode batch===== | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
+ | menu_mys GenDeplSshKeys_SQWareCentral GenLstInstanceNew | ||
+ | </syntaxhighlight> | ||
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...<br/> | Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...<br/> | ||
=> Entrez le mdp unix quand il vous est demandé ! | => Entrez le mdp unix quand il vous est demandé ! | ||
=====Déploiement de(s) clé(s) ssh : méthode manuelle===== | =====Déploiement de(s) clé(s) ssh : méthode manuelle===== | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : mysql@my_mysql_host | |
− | + | if [ ! -r $HOME/.ssh/id_rsa ] | |
− | + | then | |
− | + | ssh-keygen -t rsa -N ''''''' -f $HOME/.ssh/id_rsa | |
− | + | fi | |
− | + | chmod go-w $HOME | |
− | + | echo "ssh-rsa AAAAB......XSPpdV11 dbsqware@sqwarebox" >>$HOME/.ssh/authorized_keys | |
− | + | chmod 700 $HOME/.ssh | |
+ | chmod 600 $HOME/.ssh/authorized_keys | ||
+ | </syntaxhighlight> | ||
=> Mettre la bonne clé dans le "echo" (celle de dbsqware@sqwarebox) | => Mettre la bonne clé dans le "echo" (celle de dbsqware@sqwarebox) | ||
====Test de connexion ssh depuis SQWareCentral==== | ====Test de connexion ssh depuis SQWareCentral==== | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
+ | menu_mys TestSshConnection GenLstInstanceNew | ||
+ | </syntaxhighlight> | ||
====Déploiement de SQWareProduction==== | ====Déploiement de SQWareProduction==== | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
− | + | ||
− | + | #Si depl sur user "unique" | |
− | + | menu_mys DeplScripts GenLstUniqueNew | |
− | + | ||
− | + | #Si depl sur user "de l'instance", celui spécifié dans SQWareRepository | |
+ | menu_mys DeplScripts GenLstInstanceNew | ||
+ | </syntaxhighlight> | ||
+ | Pour user "unique" c'est l'utilisateur "standard", par défaut nous le réglons sur "mysql", et il peut être modifié dans SQWareCentral. | ||
====Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile==== | ====Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile==== | ||
Ligne 235 : | Ligne 266 : | ||
=====Ajout de l'environnement dbSQWare : méthode batch===== | =====Ajout de l'environnement dbSQWare : méthode batch===== | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
+ | menu_mys AdddbSQWareProfile GenLstInstanceNew | ||
+ | </syntaxhighlight> | ||
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...<br/> | Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...<br/> | ||
=> Dans ~/.profile ou ~/.bash_profile, changez la variable suivante avec la valeur adaptée : gvsqw_Env='XXX' | => Dans ~/.profile ou ~/.bash_profile, changez la variable suivante avec la valeur adaptée : gvsqw_Env='XXX' | ||
Ligne 242 : | Ligne 275 : | ||
=====Ajout de l'environnement dbSQWare : méthode manuelle===== | =====Ajout de l'environnement dbSQWare : méthode manuelle===== | ||
Ajoutez les lignes suivantes dans le ~/.profile ou ~/.bash_profile | Ajoutez les lignes suivantes dans le ~/.profile ou ~/.bash_profile | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : mysql@my_mysql_host | |
− | + | ||
− | + | #dbSQWare | |
− | + | export gvsqw_MysBin=$HOME/SQWareProduction/mysql/bin | |
− | + | export gvsqw_Env='PRD' | |
− | + | lvsqw_IsTerminal=$(tty 2>&1 >/dev/null;echo $?) | |
− | + | if [ "$lvsqw_IsTerminal" = "0" ] && [ -r $gvsqw_MysBin/../etc/.profile_confort ] | |
− | + | then | |
− | + | . $gvsqw_MysBin/../etc/.profile_confort | |
+ | fi | ||
+ | </syntaxhighlight> | ||
=====Ajout de la variable MYSQL_SID===== | =====Ajout de la variable MYSQL_SID===== | ||
Ajoutez la variable MYSQL_SID dans le ~/.profile ou ~/.bash_profile | Ajoutez la variable MYSQL_SID dans le ~/.profile ou ~/.bash_profile | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : mysql@my_mysql_host | |
+ | export MYSQL_SID=MYS_INST_PRD | ||
+ | </syntaxhighlight> | ||
====Test sendmail (non obligatoire)==== | ====Test sendmail (non obligatoire)==== | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
+ | menu_mys TestSendmail GenLstInstanceNew | ||
+ | </syntaxhighlight> | ||
====Test de connexion "manuel" à l'instance MySQL/MariaDB (connexion "locale")==== | ====Test de connexion "manuel" à l'instance MySQL/MariaDB (connexion "locale")==== | ||
/!\ Uniquement que les instances qui seront en statut "ON" ! | /!\ Uniquement que les instances qui seront en statut "ON" ! | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
+ | menu_mys TestInstConnectionOnNoMail GenLstInstanceNew | ||
+ | </syntaxhighlight> | ||
===Procédure spécifique pour la partie "distante" (statut DIST)=== | ===Procédure spécifique pour la partie "distante" (statut DIST)=== | ||
Ligne 271 : | Ligne 312 : | ||
====Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion distante)==== | ====Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion distante)==== | ||
Exemple pour une connexion "distante" | Exemple pour une connexion "distante" | ||
− | + | <syntaxhighlight lang="sql" line> | |
− | + | grant all privileges on *.* to 'DBSDBA'@'%' IDENTIFIED BY 'NePasMettreCePassword!' with grant option; | |
− | + | ||
− | + | /* ou */ | |
− | + | create user 'DBSDBA'@'%' IDENTIFIED BY 'NePasMettreCePassword!'; | |
− | + | grant all privileges on *.* to 'DBSDBA'@'%' with grant option; | |
+ | flush privileges; | ||
+ | </syntaxhighlight> | ||
Vous pouvez mettre le nom et le mot de passe que vous souhaitez !<br/> | Vous pouvez mettre le nom et le mot de passe que vous souhaitez !<br/> | ||
Ce compte devra être déclaré sur le compte unix mysql@sqwarebox ...<br/> | Ce compte devra être déclaré sur le compte unix mysql@sqwarebox ...<br/> | ||
+ | <syntaxhighlight lang="sh" line> | ||
vi /home/mysql/.passwd_mysql | vi /home/mysql/.passwd_mysql | ||
DbAlias;UserName;Passwd;HostName;Port | DbAlias;UserName;Passwd;HostName;Port | ||
− | MYS_APPLI_PRD;DBSDBA; | + | MYS_APPLI_PRD;DBSDBA;NePasMettreCePassword!;srvdbmys01;3306 |
+ | </syntaxhighlight> | ||
====Test connexion "distante"==== | ====Test connexion "distante"==== | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
+ | menu_mys TestInstConnectionDistNoMail GenLstInstanceNew | ||
+ | </syntaxhighlight> | ||
==Mise en exploitation de l'instance== | ==Mise en exploitation de l'instance== | ||
===Génération de la configuration par défaut SQWareProduction=== | ===Génération de la configuration par défaut SQWareProduction=== | ||
/!\ Uniquement que les instances qui seront en statut "ON" ! | /!\ Uniquement que les instances qui seront en statut "ON" ! | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
+ | menu_mys GenDefConf_SQWareProduction GenLstInstanceNew | ||
+ | </syntaxhighlight> | ||
===Mise à jour de SQWareRepository=== | ===Mise à jour de SQWareRepository=== | ||
Ligne 299 : | Ligne 348 : | ||
===Test de "reprise" des indicateurs=== | ===Test de "reprise" des indicateurs=== | ||
A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !) | A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !) | ||
− | + | <syntaxhighlight lang="sh" line> | |
− | + | # From : dbsqware@sqwarebox | |
− | + | ## Pour les statuts "ON" | |
− | + | repind_mys | |
− | + | ## Pour les statuts "DIST" | |
+ | repind_mys_dist | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | ===Exploitation (stats, backups, …) pour les instance "ON"=== | ||
+ | ====Génération des conf SQWareProduction==== | ||
+ | Si vous avez suivi la procédure d’insertion de l’instance, cette partie est déjà fait par l’étape "menu_mys GenDefConf_SQWareProduction GenLstInstanceNew".<br/> | ||
+ | Vous pouvez vérifier avec le chapitre suivant.<br/> | ||
+ | <br/> | ||
+ | Se connecter à la machine qui porte l'instance « MySQL/MariaDB » et taper les commandes suivantes :<br/> | ||
+ | <syntaxhighlight lang="sh" line> | ||
+ | # From dbsqware@vmyswarebox | ||
+ | c MYS_INST_PRD | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | <syntaxhighlight lang="sh" line> | ||
+ | #Source de l'env si multi-instance (from mysql@my_mysql_host) | ||
+ | e MYS_INST_PRD | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | <syntaxhighlight lang="sh" line> | ||
+ | too | ||
+ | ./sqwmys_GenerateCreateInstance.ksh -dbsOnly | ||
+ | </syntaxhighlight> | ||
+ | Vérifier que ce qui est proposé est bon et tapez « y » si c’est le cas.<br/> | ||
+ | A ce moment, vous avez généré les fichiers de configuration par défaut de SQWareProduction. | ||
+ | |||
+ | ====Explications==== | ||
+ | Les étapes précédentes ont créé certains fichiers par défaut. ($HOME/MYS_INST_PRD/sqwConfig) | ||
+ | <syntaxhighlight lang="sh" line> | ||
+ | #Entrez le nom de l’instance | ||
+ | e MYS_INST_PRD | ||
+ | cfg | ||
+ | cat sqwmys_Jobs.cfg | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | <syntaxhighlight lang="sh" line> | ||
+ | ############################################# | ||
+ | #IndicDba: Gather DBAs indicators | ||
+ | IndicDba:$gvsqw_MysBin/sqwmys_GatherIndicators.ksh -I MYS_INST_PRD | ||
+ | |||
+ | #Dump: backup all databases with mysqlDump | ||
+ | Dump:$gvsqw_MysBin/sqwmys_DumpAllDatabases.ksh -I MYS_INST_PRD -Exec | ||
+ | |||
+ | #Optimize : optimize tables for all databases | ||
+ | Optimize:$gvsqw_MysBin/sqwmys_OptimizeAllDatabases.ksh -I MYS_INST_PRD -Exec | ||
+ | |||
+ | #Analyse : analyze tables for all databases | ||
+ | Analyze:$gvsqw_MysBin/sqwmys_AnalyzeAllDatabases.ksh -I MYS_INST_PRD -Exec | ||
+ | |||
+ | #XtraFull: Backup full with XtraBackup | ||
+ | XtraFull:$gvsqw_MysBin/sqwmys_XtraBackup.ksh -I MYS_INST_PRD -Type full -Exec | ||
+ | |||
+ | #XtraInc: Backup incremental with XtraBackup | ||
+ | XtraInc:$gvsqw_MysBin/sqwmys_XtraBackup.ksh -I MYS_INST_PRD -Type inc -Exec | ||
+ | |||
+ | #MariaFull: Backup full with MariaBackup | ||
+ | MariaFull:$gvsqw_MysBin/sqwmys_MariaBackup.ksh -I MYS_INST_PRD -Type full -Exec | ||
+ | |||
+ | #MariaInc: Backup incremental with MariaBackup | ||
+ | MariaInc:$gvsqw_MysBin/sqwmys_MariaBackup.ksh -I MYS_INST_PRD -Type inc -Exec | ||
+ | |||
+ | #PurgeAlert: Rotate error log | ||
+ | PurgeAlert:$gvsqw_MysBin/sqwmys_PurgeAlert.ksh -I MYS_INST_PRD | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | C’est un fichier de paramétrage qui est utilisé par le script sqwmys_RunJob.ksh pour exécuter des actions.<br/> | ||
+ | <br/> | ||
+ | Fichier pour une cron par défaut $HOME/CrontabRef_MYS_INST_PRD : | ||
+ | <syntaxhighlight lang="sh" line> | ||
+ | ## mm(0-59) hh(0-23) dd(1-31) MM(0-12) DAY(0-sunday, 1-monday, ...) command | ||
+ | ## MYS_INST_PRD | ||
+ | #Purge alert | ||
+ | 00 08 * * 0 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A PurgeAlert > $HOME/tmp/PurgeAlert_MYS_INST_PRD.log 2>&1' | ||
+ | # Dump | ||
+ | 00 20 * * * ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Dump > $HOME/tmp/Dump_MYS_INST_PRD.log 2>&1' | ||
+ | # Optimize | ||
+ | 00 04 * * 6 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Optimize > $HOME/tmp/Optimize_MYS_INST_PRD.log 2>&1' | ||
+ | # Analyze | ||
+ | 00 05 * * 6 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Analyze > $HOME/tmp/Analyze_MYS_INST_PRD.log 2>&1' | ||
+ | # XtraBackup | ||
+ | #00 21 * * 6 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A XtraFull > $HOME/tmp/XtraFull_MYS_INST_PRD.log 2>&1' | ||
+ | #00 21 * * 1-5 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A XtraInc > $HOME/tmp/XtraInc_MYS_INST_PRD.log 2>&1' | ||
+ | # MariaBackup | ||
+ | #00 21 * * 6 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A MariaFull > $HOME/tmp/MariaFull_MYS_INST_PRD.log 2>&1' | ||
+ | #00 21 * * 1-5 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A MariaInc > $HOME/tmp/MariaInc_MYS_INST_PRD.log 2>&1' | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | ====Mise en exploitation==== | ||
+ | Mise en place de la cron : | ||
+ | <syntaxhighlight lang="sh" line> | ||
+ | mv $HOME/CrontabRef_MYS_INST_PRD $HOME/CrontabRef | ||
+ | vi $HOME/CrontabRef | ||
+ | crontab $HOME/CrontabRef | ||
+ | crontab -l | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | Mise à jour du fichier CrontabRef : | ||
+ | <syntaxhighlight lang="sh" line> | ||
+ | crontab -l > $HOME/CrontabRef | ||
+ | cat $HOME/CrontabRef | ||
+ | </syntaxhighlight> | ||
+ | |||
+ | ====Commandes utiles==== | ||
+ | alias intéressants : | ||
+ | e DBALIAS => source l'env pour l'instance | ||
+ | bin, etc, too ... => pour aller dans arbo SQWareProduction standard | ||
+ | cbin, cetc, ctoo ... => pour aller dans arbo SQWareProduction custom | ||
+ | log => logs SQWareProduction | ||
+ | dmp => on va dans les chemins de backup | ||
+ | |||
+ | Quelques options des scripts : | ||
+ | -h => aide en ligne | ||
+ | -s => exemples en ligne | ||
+ | -Exec => lorsque elle est présente, si non settée ne sort que les commandes sans les exécuter | ||
+ | |||
+ | Exemples : | ||
+ | mysql@my_mysql_host:$HOME/admin/MYS_INST_PRD/logs/DumpAllDatabases (MYS_DBA_PRD) $ bin | ||
+ | total 100 | ||
+ | drwxr-x--- 2 dbsqware dba 4096 Sep 6 14:09 . | ||
+ | drwxr-x--- 15 dbsqware dba 187 Aug 16 15:50 .. | ||
+ | -rwxr-x--- 1 dbsqware dba 2957 Aug 16 15:50 sqwmys_AnalyzeAllDatabases.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 2514 Aug 16 15:50 sqwmys_AnalyzeDatabase.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 2608 Aug 16 15:50 sqwmys_CheckAllDatabases.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 2257 Aug 16 15:50 sqwmys_CheckDatabase.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 5418 Aug 16 15:50 sqwmys_CopyDumpAllDatabases.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 5324 Aug 16 15:50 sqwmys_CopyDumpDatabase.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 5610 Sep 6 10:45 sqwmys_CopyMariaBackup.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 5594 Sep 6 14:08 sqwmys_CopyXtraBackup.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 3248 Aug 16 15:50 sqwmys_DumpAllDatabases.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 3541 Aug 16 15:50 sqwmys_DumpDatabase.ksh | ||
+ | lrwxrwxrwx 1 dbsqware dba 36 Jan 2 2022 sqwmys_ExecSQL.ksh -> ../../generic/bin/sqwgen_ExecSQL.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 2455 Aug 16 15:50 sqwmys_GatherIndicators.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 2454 Aug 16 15:50 sqwmys_GatherStructure.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 3043 Aug 16 15:50 sqwmys_MariaBackup.ksh | ||
+ | lrwxrwxrwx 1 dbsqware dba 38 Jan 2 2022 sqwmys_NetBackup.ksh -> ../../generic/bin/sqwgen_NetBackup.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 2959 Aug 16 15:50 sqwmys_OptimizeAllDatabases.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 2522 Aug 16 15:50 sqwmys_OptimizeDatabase.ksh | ||
+ | lrwxrwxrwx 1 dbsqware dba 40 Jan 2 2022 sqwmys_ParallelRun.ksh -> ../../generic/bin/sqwgen_ParallelRun.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 2252 Aug 16 15:50 sqwmys_PurgeAlert.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 3855 Aug 16 15:50 sqwmys_RestoreAllDatabases.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 3463 Aug 16 15:50 sqwmys_RestoreDatabase.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 3825 Aug 16 15:50 sqwmys_RotateLogSlowQuery.ksh | ||
+ | lrwxrwxrwx 1 dbsqware dba 40 Jan 2 2022 sqwmys_RsyncBackup.ksh -> ../../generic/bin/sqwgen_RsyncBackup.ksh | ||
+ | lrwxrwxrwx 1 dbsqware dba 35 Jan 2 2022 sqwmys_RunJob.ksh -> ../../generic/bin/sqwgen_RunJob.ksh | ||
+ | -rwxr-x--- 1 dbsqware dba 3025 Aug 16 15:50 sqwmys_XtraBackup.ksh | ||
+ | |||
+ | mysql@my_mysql_host:$HOME/SQWareProduction/mysql/bin (MYS_INST_PRD) $ | ||
+ | ./sqwmys_DumpAllDatabases.ksh -h | ||
+ | |||
+ | Sourcing sqwmys_Global.lib v2023.06 SQWareProduction for MySQL (dbSQWare) ... | ||
+ | |||
+ | Usage: sqwmys_DumpAllDatabases.ksh [-h] -I instance [+ options] | ||
+ | |||
+ | DESCRIPTION | ||
+ | sqwmys_DumpAllDatabases.ksh dump databases in parallel | ||
+ | SUPPORT | ||
+ | MySql supported versions: 5.0 <= v <= 8 | ||
+ | MariaDB supported versions: 5.5 <= v <= 11.6 | ||
+ | |||
+ | PARAMETERS | ||
+ | -I instance : Target instance to mysqldump. | ||
+ | OPTIONS | ||
+ | -h help : Display the full usage. | ||
+ | -s : Display samples of usage. | ||
+ | -P Nb threads : Number of threads in parallel (by default 2). | ||
+ | -RD directory : Directory to write dump file (default /backups/mysql/$MYSQL_SID). | ||
+ | -ID listdb : List of databases to be dumped (by default all). | ||
+ | -ED listdb : List of databases to exclude from dump. | ||
+ | -IL likeclause : Like clause to generate databases list (example: 'db%'). | ||
+ | -EL likeclause : Like clause to exclude databases (example: 'nodb%'). | ||
+ | -HI Nb_Generations : Number of generations to keep (by default 2). | ||
+ | -WCD whereclause : Where clause to generate databases list. | ||
+ | -AGR Nb sec : Nb of seconds between two runs (by default 1s). | ||
+ | -AGE Nb sec : Nb of seconds between two checks of end (by default 10s). | ||
+ | -FRT return_code : Force return code value on error. | ||
+ | -Opt option : Additional options for mysqldump. | ||
+ | -Dist : For distant connection to database (change $gvsqw_ConnectString to $gvsqw_DistConnectString ). | ||
+ | -AddMail email : Email address to add at 'xxx'. | ||
+ | -SendReport : Send execution log report. | ||
+ | -NoMail : Deactivate sendmail on error xxx (by default, send on error). | ||
+ | -Locale locale : Force Locale for help display (fr,en). | ||
+ | -Consistent : Lock for consistent mode (by default, no lock). | ||
+ | -Exec : Execute commands (default, display generated commands) | ||
+ | |||
+ | |||
+ | Enjoy ! |
Version actuelle datée du 12 novembre 2024 à 15:56
Sommaire
- 1 Généralités
- 2 Intégration d'une instance MySQL/MariaDB
- 2.1 Mise en place de l'environnement
- 2.2 Procédure spécifique pour la partie "locale" (statut ON)
- 2.2.1 Vérification des prérequis système pour la partie "locale" (ksh + rsync)
- 2.2.2 Modification user unix
- 2.2.3 Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion locale)
- 2.2.4 Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)
- 2.2.5 Test de connexion ssh depuis SQWareCentral
- 2.2.6 Déploiement de SQWareProduction
- 2.2.7 Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile
- 2.2.8 Test sendmail (non obligatoire)
- 2.2.9 Test de connexion "manuel" à l'instance MySQL/MariaDB (connexion "locale")
- 2.3 Procédure spécifique pour la partie "distante" (statut DIST)
- 3 Mise en exploitation de l'instance
Généralités
Dans ce chapitre, on considèrera que SQWareCentral a été installé sur dbsqware@sqwarebox ...
Limites de cette section
Ce chapitre ne traite que de l'ajout d'une nouvelle instance sur un socle déjà paramétré et fonctionnel.
Utilisez les portions qui concernent votre environnement et utilisez la méthode match ou manuelle au choix !
MODOP général d'intégration d'une nouvelle instance MySQL/MariaDB
Il y aura potentiellement 1 ou 2 cas de connexion à traiter
- "locale", pour les machines unix (ou avec Cygwin) où l'on va faire du "mysql" sur la machine qui porte l'instance (connexion ssh depuis dbsqware@sqwarebox)
- "distante", pour le cas où l'on n'a accès à la machine en ssh (Windows, RDS, etc, ...)
Etapes classiques :
- Mise en place de l'environnement
- Vérification des prérequis système pour la partie "locale" (ksh + rsync)
- Tests "manuels"
- Mise en exploitation de l'instance
Vous verrez que ces étapes peuvent être traitée une par une ou par batch !
Intégration d'une instance MySQL/MariaDB
Mise en place de l'environnement
Général
Explication du "DbAlias" (la clé unique dbSQWare)
La clé dbSQWare doit être unique et raccord avec ce qui aura été paramétré pour la variable gvsqw_DbAlias dans sqwmys_GlobalVar.cfg !
On va utiliser une variable, MYSQL_SID qui n'a aucune valeur pour MySQL/MariaDB mais qui va identifier l'instance dans dbSQWare.
Par "convention", on utilise souvent MYS "_" APPLI "_" ENV.
Exemple : MYS_MONAPPLI_PRD ou MYS_DEUXAPPLI_DEV ...
Mais rien n'est imposé, vous choisissez ce qui "vous arrange" ! Il faudra juste positionner la variable MYSQL_SID dans le profile du compte mysql avec la valeur souhaitée.
Explication des statuts
- Une instance sera traitée en mode "local", c’est-à-dire que l’on va se connecter en "mysql" en local sur la machine qui porte l’instance (accès ssh depuis dbsqware@sqwarebox), statut "ON".
- Une instance où l’on n’aurait pas d'accès unix local serait gérée en mode "distant" (style Windows, RDS, ...), statut "DIST".
- Le statut "OFF" fait "disparaître" l’instance de la visu web.
- Le statut "NEW" est utilisé comme statut intermédiaire entre le début et la fin du paramétrage d'une nouvelle instance.
- Tous les autres statuts permettent d’afficher l’instance dans le référentiel (notamment "KEEP") mais ne seront pas pris en compte par les traitements automatiques.
Résumé des statuts :
Statut | Description |
ON | gestion locale sous unix (le plus courant) |
DIST | gestion uniquement à distance |
KEEP | statut temporaire, lors d'une maintenance par exemple ou avant suppression complète |
NEW | statut temporaire, lors du paramétrage |
OFF | suppression visuelle de l'instance (sans suppression de son paramétrage) |
XXX | non pris en charge ... |
Déclaration de l'instance dans SQWareRepository avec SQWareWeb
Nous allons déclarer la nouvelle instance depuis l'interface d'administration de SQWareWeb.
Déclarez la nouvelle instance en statut "NEW" (Ajout ou Duplicate)
Explication des champs :
Champ | Description |
Db Alias | Clé unique qui identifie l'instance dans dbSQWare (pas de valeur pour MySQL/MariaDB) |
Dbms Name | Type de SGBD |
Virtual Host | Host virtuel (meme que Host si pas cluster) |
Host Name | Hostname de l'instance |
User Name | User qui porte l'instance |
Port | Port d'écoute de l'instance |
Comments | Une courte description de ce que porte l'instance |
Status | Instance statut (cf plus haut pour les explications) |
Contact | Un contact si besoin |
Environnement | Environnement de l'instance (PRD, PPR, REC, DEV, TST, ...) |
Client | Utilisé uniquement pour filtrer (mettre un nom de client et/ou de département et/ou service ... |
GlobalHost | Champ libre dans lequel on met souvent l'hôte de hyperviseur par exemple |
Custom1 | Champ libre 1 |
Custom2 | Champ libre 2 |
Regénérer les fichiers de référence de SQWareCentral
Tapez la commande suivante qui va générer les fichiers de référence :
1 # From : dbsqware@sqwarebox
2 gen_all
Procédure spécifique pour la partie "locale" (statut ON)
/!\ Uniquement que les instances qui seront en statut "ON" !
Vérification des prérequis système pour la partie "locale" (ksh + rsync)
SQWareProduction étant écrit essentiellement en shell ksh et étant synchronisé depuis SQWareCentral avec rsync, il nous faut donc "ksh" et "rsync" installés !
Vérification
Adaptez à votre nom de user et nom de machine.
ksh:
1 # From : mysql@my_mysql_host
2 type ksh
3 #ou
4 which ksh
rsync:
1 # mysql@my_mysql_host
2 type rsync
3 #ou
4 which rsync
Installation
Adaptez à votre type de machine (sudo si vous n'êtes pas root).
RedHat / CentOS / ... :
1 # From : root@my_mysql_host
2 yum install -y ksh rsync
3 #ou
4 dnf install -y ksh rsync
Ubuntu / Debian / ... :
1 # From : root@my_mysql_host
2 apt install -y ksh rsync
Modification user unix
Adaptez à votre type de machine (sudo si vous n'êtes pas root).
Modification du homedir (pas obligatoire mais évite de se retrouver dans /var/lib/mysql) :
1 # From : root@my_mysql_host
2 mkdir -p /home/mysql
3 chown mysql:mysql /home/mysql
4 chmod 750 /home/mysql
1 ##Stop instance (service mysql/mariadb stop -- ou -- systemctl stop mysql/mariadb)
2 usermod -d /home/mysql mysql -s /bin/bash
3 ##Start instance (service mysql/mariadb start -- ou -- systemctl start mysql/mariadb)
4
5 #Ou directement vi /etc/passwd !
6 exemple : mysql:x:1004:989::/home/mysql:/bin/bash
Affectez un passwd au user mysql (sinon la connexion par échange de clés ne fonctionnera pas !) :
1 # From : root@my_mysql_host
2 passwd mysql
Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion locale)
Adaptez aux besoins en fonction de ce que vous voulez faire ...
Exemple pour une connexion "locale"
1 grant all privileges on *.* to 'DBSDBA'@'localhost' IDENTIFIED BY 'NePasMettreCePassword!' with grant option;
2
3 /* ou */
4 create user 'DBSDBA'@'localhost' IDENTIFIED BY 'NePasMettreCePassword!';
5 grant all privileges on *.* to 'DBSDBA'@'localhost' with grant option;
1 # From : mysql@my_mysql_host
2 #Puis, création du fichier .my.cnf pour permettre la connexion sans passer de passwd
3 echo "[client]
4 password = NePasMettreCePassword!
5 " >> $HOME/.my.cnf
6 chmod 600 $HOME/.my.cnf
Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)
Il existe deux manières de procéder :
- Une automatique (depuis dbsqware@sqwarebox mais vous oblige à connaitre le mdp du compte unix mysql)
- Une manuelle que vous appliquez sur chaque compte unix mysql
/!\ Le mdp de votre compte mysql unix doit avoir été initialisé, si non, la connexion par échange de clé ne fonctionnera pas !
Déploiement de(s) clé(s) ssh : méthode batch
1 # From : dbsqware@sqwarebox
2 menu_mys GenDeplSshKeys_SQWareCentral GenLstInstanceNew
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Entrez le mdp unix quand il vous est demandé !
Déploiement de(s) clé(s) ssh : méthode manuelle
1 # From : mysql@my_mysql_host
2 if [ ! -r $HOME/.ssh/id_rsa ]
3 then
4 ssh-keygen -t rsa -N ''''''' -f $HOME/.ssh/id_rsa
5 fi
6 chmod go-w $HOME
7 echo "ssh-rsa AAAAB......XSPpdV11 dbsqware@sqwarebox" >>$HOME/.ssh/authorized_keys
8 chmod 700 $HOME/.ssh
9 chmod 600 $HOME/.ssh/authorized_keys
=> Mettre la bonne clé dans le "echo" (celle de dbsqware@sqwarebox)
Test de connexion ssh depuis SQWareCentral
1 # From : dbsqware@sqwarebox
2 menu_mys TestSshConnection GenLstInstanceNew
Déploiement de SQWareProduction
1 # From : dbsqware@sqwarebox
2
3 #Si depl sur user "unique"
4 menu_mys DeplScripts GenLstUniqueNew
5
6 #Si depl sur user "de l'instance", celui spécifié dans SQWareRepository
7 menu_mys DeplScripts GenLstInstanceNew
Pour user "unique" c'est l'utilisateur "standard", par défaut nous le réglons sur "mysql", et il peut être modifié dans SQWareCentral.
Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile
Une nouvelle fois, il existe deux manières de procéder :
- Une automatique (depuis dbsqware@sqwarebox)
- Une manuelle que vous appliquez sur chaque compte unix mysql
Ajout de l'environnement dbSQWare : méthode batch
1 # From : dbsqware@sqwarebox
2 menu_mys AdddbSQWareProfile GenLstInstanceNew
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Dans ~/.profile ou ~/.bash_profile, changez la variable suivante avec la valeur adaptée : gvsqw_Env='XXX'
Ajout de l'environnement dbSQWare : méthode manuelle
Ajoutez les lignes suivantes dans le ~/.profile ou ~/.bash_profile
1 # From : mysql@my_mysql_host
2
3 #dbSQWare
4 export gvsqw_MysBin=$HOME/SQWareProduction/mysql/bin
5 export gvsqw_Env='PRD'
6 lvsqw_IsTerminal=$(tty 2>&1 >/dev/null;echo $?)
7 if [ "$lvsqw_IsTerminal" = "0" ] && [ -r $gvsqw_MysBin/../etc/.profile_confort ]
8 then
9 . $gvsqw_MysBin/../etc/.profile_confort
10 fi
Ajout de la variable MYSQL_SID
Ajoutez la variable MYSQL_SID dans le ~/.profile ou ~/.bash_profile
1 # From : mysql@my_mysql_host
2 export MYSQL_SID=MYS_INST_PRD
Test sendmail (non obligatoire)
1 # From : dbsqware@sqwarebox
2 menu_mys TestSendmail GenLstInstanceNew
Test de connexion "manuel" à l'instance MySQL/MariaDB (connexion "locale")
/!\ Uniquement que les instances qui seront en statut "ON" !
1 # From : dbsqware@sqwarebox
2 menu_mys TestInstConnectionOnNoMail GenLstInstanceNew
Procédure spécifique pour la partie "distante" (statut DIST)
Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion distante)
Exemple pour une connexion "distante"
1 grant all privileges on *.* to 'DBSDBA'@'%' IDENTIFIED BY 'NePasMettreCePassword!' with grant option;
2
3 /* ou */
4 create user 'DBSDBA'@'%' IDENTIFIED BY 'NePasMettreCePassword!';
5 grant all privileges on *.* to 'DBSDBA'@'%' with grant option;
6 flush privileges;
Vous pouvez mettre le nom et le mot de passe que vous souhaitez !
Ce compte devra être déclaré sur le compte unix mysql@sqwarebox ...
1 vi /home/mysql/.passwd_mysql
2 DbAlias;UserName;Passwd;HostName;Port
3 MYS_APPLI_PRD;DBSDBA;NePasMettreCePassword!;srvdbmys01;3306
Test connexion "distante"
1 # From : dbsqware@sqwarebox
2 menu_mys TestInstConnectionDistNoMail GenLstInstanceNew
Mise en exploitation de l'instance
Génération de la configuration par défaut SQWareProduction
/!\ Uniquement que les instances qui seront en statut "ON" !
1 # From : dbsqware@sqwarebox
2 menu_mys GenDefConf_SQWareProduction GenLstInstanceNew
Mise à jour de SQWareRepository
Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance MySQL/MariaDB (à NEW actuellement) avec la valeur souhaitée (ON, DIST)
Test de "reprise" des indicateurs
A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !)
1 # From : dbsqware@sqwarebox
2 ## Pour les statuts "ON"
3 repind_mys
4 ## Pour les statuts "DIST"
5 repind_mys_dist
Exploitation (stats, backups, …) pour les instance "ON"
Génération des conf SQWareProduction
Si vous avez suivi la procédure d’insertion de l’instance, cette partie est déjà fait par l’étape "menu_mys GenDefConf_SQWareProduction GenLstInstanceNew".
Vous pouvez vérifier avec le chapitre suivant.
Se connecter à la machine qui porte l'instance « MySQL/MariaDB » et taper les commandes suivantes :
1 # From dbsqware@vmyswarebox
2 c MYS_INST_PRD
1 #Source de l'env si multi-instance (from mysql@my_mysql_host)
2 e MYS_INST_PRD
1 too
2 ./sqwmys_GenerateCreateInstance.ksh -dbsOnly
Vérifier que ce qui est proposé est bon et tapez « y » si c’est le cas.
A ce moment, vous avez généré les fichiers de configuration par défaut de SQWareProduction.
Explications
Les étapes précédentes ont créé certains fichiers par défaut. ($HOME/MYS_INST_PRD/sqwConfig)
1 #Entrez le nom de l’instance
2 e MYS_INST_PRD
3 cfg
4 cat sqwmys_Jobs.cfg
1 #############################################
2 #IndicDba: Gather DBAs indicators
3 IndicDba:$gvsqw_MysBin/sqwmys_GatherIndicators.ksh -I MYS_INST_PRD
4
5 #Dump: backup all databases with mysqlDump
6 Dump:$gvsqw_MysBin/sqwmys_DumpAllDatabases.ksh -I MYS_INST_PRD -Exec
7
8 #Optimize : optimize tables for all databases
9 Optimize:$gvsqw_MysBin/sqwmys_OptimizeAllDatabases.ksh -I MYS_INST_PRD -Exec
10
11 #Analyse : analyze tables for all databases
12 Analyze:$gvsqw_MysBin/sqwmys_AnalyzeAllDatabases.ksh -I MYS_INST_PRD -Exec
13
14 #XtraFull: Backup full with XtraBackup
15 XtraFull:$gvsqw_MysBin/sqwmys_XtraBackup.ksh -I MYS_INST_PRD -Type full -Exec
16
17 #XtraInc: Backup incremental with XtraBackup
18 XtraInc:$gvsqw_MysBin/sqwmys_XtraBackup.ksh -I MYS_INST_PRD -Type inc -Exec
19
20 #MariaFull: Backup full with MariaBackup
21 MariaFull:$gvsqw_MysBin/sqwmys_MariaBackup.ksh -I MYS_INST_PRD -Type full -Exec
22
23 #MariaInc: Backup incremental with MariaBackup
24 MariaInc:$gvsqw_MysBin/sqwmys_MariaBackup.ksh -I MYS_INST_PRD -Type inc -Exec
25
26 #PurgeAlert: Rotate error log
27 PurgeAlert:$gvsqw_MysBin/sqwmys_PurgeAlert.ksh -I MYS_INST_PRD
C’est un fichier de paramétrage qui est utilisé par le script sqwmys_RunJob.ksh pour exécuter des actions.
Fichier pour une cron par défaut $HOME/CrontabRef_MYS_INST_PRD :
1 ## mm(0-59) hh(0-23) dd(1-31) MM(0-12) DAY(0-sunday, 1-monday, ...) command
2 ## MYS_INST_PRD
3 #Purge alert
4 00 08 * * 0 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A PurgeAlert > $HOME/tmp/PurgeAlert_MYS_INST_PRD.log 2>&1'
5 # Dump
6 00 20 * * * ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Dump > $HOME/tmp/Dump_MYS_INST_PRD.log 2>&1'
7 # Optimize
8 00 04 * * 6 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Optimize > $HOME/tmp/Optimize_MYS_INST_PRD.log 2>&1'
9 # Analyze
10 00 05 * * 6 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Analyze > $HOME/tmp/Analyze_MYS_INST_PRD.log 2>&1'
11 # XtraBackup
12 #00 21 * * 6 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A XtraFull > $HOME/tmp/XtraFull_MYS_INST_PRD.log 2>&1'
13 #00 21 * * 1-5 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A XtraInc > $HOME/tmp/XtraInc_MYS_INST_PRD.log 2>&1'
14 # MariaBackup
15 #00 21 * * 6 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A MariaFull > $HOME/tmp/MariaFull_MYS_INST_PRD.log 2>&1'
16 #00 21 * * 1-5 ksh -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A MariaInc > $HOME/tmp/MariaInc_MYS_INST_PRD.log 2>&1'
Mise en exploitation
Mise en place de la cron :
1 mv $HOME/CrontabRef_MYS_INST_PRD $HOME/CrontabRef
2 vi $HOME/CrontabRef
3 crontab $HOME/CrontabRef
4 crontab -l
Mise à jour du fichier CrontabRef :
1 crontab -l > $HOME/CrontabRef
2 cat $HOME/CrontabRef
Commandes utiles
alias intéressants :
e DBALIAS => source l'env pour l'instance bin, etc, too ... => pour aller dans arbo SQWareProduction standard cbin, cetc, ctoo ... => pour aller dans arbo SQWareProduction custom log => logs SQWareProduction dmp => on va dans les chemins de backup
Quelques options des scripts :
-h => aide en ligne -s => exemples en ligne -Exec => lorsque elle est présente, si non settée ne sort que les commandes sans les exécuter
Exemples :
mysql@my_mysql_host:$HOME/admin/MYS_INST_PRD/logs/DumpAllDatabases (MYS_DBA_PRD) $ bin total 100 drwxr-x--- 2 dbsqware dba 4096 Sep 6 14:09 . drwxr-x--- 15 dbsqware dba 187 Aug 16 15:50 .. -rwxr-x--- 1 dbsqware dba 2957 Aug 16 15:50 sqwmys_AnalyzeAllDatabases.ksh -rwxr-x--- 1 dbsqware dba 2514 Aug 16 15:50 sqwmys_AnalyzeDatabase.ksh -rwxr-x--- 1 dbsqware dba 2608 Aug 16 15:50 sqwmys_CheckAllDatabases.ksh -rwxr-x--- 1 dbsqware dba 2257 Aug 16 15:50 sqwmys_CheckDatabase.ksh -rwxr-x--- 1 dbsqware dba 5418 Aug 16 15:50 sqwmys_CopyDumpAllDatabases.ksh -rwxr-x--- 1 dbsqware dba 5324 Aug 16 15:50 sqwmys_CopyDumpDatabase.ksh -rwxr-x--- 1 dbsqware dba 5610 Sep 6 10:45 sqwmys_CopyMariaBackup.ksh -rwxr-x--- 1 dbsqware dba 5594 Sep 6 14:08 sqwmys_CopyXtraBackup.ksh -rwxr-x--- 1 dbsqware dba 3248 Aug 16 15:50 sqwmys_DumpAllDatabases.ksh -rwxr-x--- 1 dbsqware dba 3541 Aug 16 15:50 sqwmys_DumpDatabase.ksh lrwxrwxrwx 1 dbsqware dba 36 Jan 2 2022 sqwmys_ExecSQL.ksh -> ../../generic/bin/sqwgen_ExecSQL.ksh -rwxr-x--- 1 dbsqware dba 2455 Aug 16 15:50 sqwmys_GatherIndicators.ksh -rwxr-x--- 1 dbsqware dba 2454 Aug 16 15:50 sqwmys_GatherStructure.ksh -rwxr-x--- 1 dbsqware dba 3043 Aug 16 15:50 sqwmys_MariaBackup.ksh lrwxrwxrwx 1 dbsqware dba 38 Jan 2 2022 sqwmys_NetBackup.ksh -> ../../generic/bin/sqwgen_NetBackup.ksh -rwxr-x--- 1 dbsqware dba 2959 Aug 16 15:50 sqwmys_OptimizeAllDatabases.ksh -rwxr-x--- 1 dbsqware dba 2522 Aug 16 15:50 sqwmys_OptimizeDatabase.ksh lrwxrwxrwx 1 dbsqware dba 40 Jan 2 2022 sqwmys_ParallelRun.ksh -> ../../generic/bin/sqwgen_ParallelRun.ksh -rwxr-x--- 1 dbsqware dba 2252 Aug 16 15:50 sqwmys_PurgeAlert.ksh -rwxr-x--- 1 dbsqware dba 3855 Aug 16 15:50 sqwmys_RestoreAllDatabases.ksh -rwxr-x--- 1 dbsqware dba 3463 Aug 16 15:50 sqwmys_RestoreDatabase.ksh -rwxr-x--- 1 dbsqware dba 3825 Aug 16 15:50 sqwmys_RotateLogSlowQuery.ksh lrwxrwxrwx 1 dbsqware dba 40 Jan 2 2022 sqwmys_RsyncBackup.ksh -> ../../generic/bin/sqwgen_RsyncBackup.ksh lrwxrwxrwx 1 dbsqware dba 35 Jan 2 2022 sqwmys_RunJob.ksh -> ../../generic/bin/sqwgen_RunJob.ksh -rwxr-x--- 1 dbsqware dba 3025 Aug 16 15:50 sqwmys_XtraBackup.ksh
mysql@my_mysql_host:$HOME/SQWareProduction/mysql/bin (MYS_INST_PRD) $ ./sqwmys_DumpAllDatabases.ksh -h Sourcing sqwmys_Global.lib v2023.06 SQWareProduction for MySQL (dbSQWare) ... Usage: sqwmys_DumpAllDatabases.ksh [-h] -I instance [+ options] DESCRIPTION sqwmys_DumpAllDatabases.ksh dump databases in parallel SUPPORT MySql supported versions: 5.0 <= v <= 8 MariaDB supported versions: 5.5 <= v <= 11.6 PARAMETERS -I instance : Target instance to mysqldump. OPTIONS -h help : Display the full usage. -s : Display samples of usage. -P Nb threads : Number of threads in parallel (by default 2). -RD directory : Directory to write dump file (default /backups/mysql/$MYSQL_SID). -ID listdb : List of databases to be dumped (by default all). -ED listdb : List of databases to exclude from dump. -IL likeclause : Like clause to generate databases list (example: 'db%'). -EL likeclause : Like clause to exclude databases (example: 'nodb%'). -HI Nb_Generations : Number of generations to keep (by default 2). -WCD whereclause : Where clause to generate databases list. -AGR Nb sec : Nb of seconds between two runs (by default 1s). -AGE Nb sec : Nb of seconds between two checks of end (by default 10s). -FRT return_code : Force return code value on error. -Opt option : Additional options for mysqldump. -Dist : For distant connection to database (change $gvsqw_ConnectString to $gvsqw_DistConnectString ). -AddMail email : Email address to add at 'xxx'. -SendReport : Send execution log report. -NoMail : Deactivate sendmail on error xxx (by default, send on error). -Locale locale : Force Locale for help display (fr,en). -Consistent : Lock for consistent mode (by default, no lock). -Exec : Execute commands (default, display generated commands)
Enjoy !