Général:FAQ NouvelleInstancePostgreSQL : Différence entre versions

De WikiFr_dbSQWare
Aller à : navigation, rechercher
(→‎MODOP général d'intégration d'une nouvelle instance PostgreSQL)
m (→‎Modification user unix)
 
(18 révisions intermédiaires par 3 utilisateurs non affichées)
Ligne 10 : Ligne 10 :
 
===MODOP général d'intégration d'une nouvelle instance PostgreSQL===
 
===MODOP général d'intégration d'une nouvelle instance PostgreSQL===
 
Il y aura potentiellement 1 ou 2 cas de connexion à traiter
 
Il y aura potentiellement 1 ou 2 cas de connexion à traiter
−
* "locale", pour les machines unix (ou avec Cygwin) où l'on va faire du "psql" sur la machine qui porte l'instance (connexion ssh depuis dbsqware@sqwarebox)
+
* "locale", pour les machines unix (ou avec Cygwin) où l'on va faire du "postgres" sur la machine qui porte l'instance (connexion ssh depuis dbsqware@sqwarebox)
 
* "distante", pour le cas où l'on n'a accès à la machine en ssh (Windows, RDS, etc, ...)
 
* "distante", pour le cas où l'on n'a accès à la machine en ssh (Windows, RDS, etc, ...)
  
 
Etapes classiques :
 
Etapes classiques :
−
*Vérification des prérequis système pour la partie "locale" (ksh + rsync et éventuellement le homedir)
 
 
*Mise en place de l'environnement
 
*Mise en place de l'environnement
 +
*Vérification des prérequis système pour la partie "locale" (ksh + rsync)
 
*Tests "manuels"
 
*Tests "manuels"
 
*Mise en exploitation de l'instance
 
*Mise en exploitation de l'instance
Ligne 21 : Ligne 21 :
  
 
==Intégration d'une instance PostgreSQL==
 
==Intégration d'une instance PostgreSQL==
−
===Vérification des prérequis système pour la partie "locale" (ksh + rsync et éventuellement le homedir)===
 
−
Ne traitez cette partie que pour une connexion "locale".<br/>
 
−
SQWareProduction étant écrit essentiellement en shell ksh et étant synchronisé depuis SQWareCentral avec rsync, il nous faut donc "ksh" et "rsync" installé !
 
−
 
−
====Vérification====
 
−
Adaptez à votre nom de user et nom de machine.
 
−
ksh:
 
−
# From : postgres@my_postgresql_host
 
−
type ksh
 
−
#ou
 
−
which ksh
 
−
rsync:
 
−
# postgres@my_postgresql_host
 
−
type rsync
 
−
#ou
 
−
which rsync
 
−
 
−
====Installation====
 
−
Adaptez à votre type de machine (sudo si vous n'êtes pas root).<br/>
 
−
RedHat / CentOS / ... :
 
−
# From : root@my_postgresql_host
 
−
yum install -y ksh rsync
 
−
Ubuntu / Debian / ... :
 
−
# From : root@my_postgresql_host
 
−
apt install -y ksh rsync
 
−
 
−
====Modification user unix ====
 
−
Adaptez à votre type de machine (sudo si vous n'êtes pas root).<br/>
 
−
Modification du homedir (pas obligatoire mais évite de se retrouver dans /var/lib/postgres) :
 
−
# From : root@my_postgresql_host
 
−
mkdir -p /home/postgres
 
−
chown postgres:postgres /home/postgres
 
−
chmod 750 /home/postgres
 
−
##Stop instance (pg_ctl stop -D $PGDATA -m immediate)
 
−
usermod -d /home/postgres postgres
 
−
##Start instance (pg_ctl start -D $PGDATA)
 
−
 
−
#Ou directement vi /etc/passwd !
 
−
 
−
Affectez un passwd au user postgres (sinon la connexion par échange de clés ne fonctionnera pas !) :
 
−
# From : root@my_postgresql_host
 
−
passwd postgres
 
  
 
===Mise en place de l'environnement===
 
===Mise en place de l'environnement===
Ligne 163 : Ligne 121 :
 
|}
 
|}
 
=====Regénérer les fichiers de référence de SQWareCentral=====
 
=====Regénérer les fichiers de référence de SQWareCentral=====
−
Tapez la commande suivante qui va les fichiers de référence :
+
Tapez la commande suivante qui va générer les fichiers de référence :
−
# From : dbsqware@sqwarebox
+
<syntaxhighlight lang="sh" line>
−
gen_all
+
# From : dbsqware@sqwarebox
 +
gen_all
 +
</syntaxhighlight>
 +
 
 +
===Procédure spécifique pour la partie "locale" (statut ON)===
 +
/!\ Uniquement que les instances qui seront en statut "ON" !<br/>
  
−
====Création d'un compte PostgreSQL spécifique dbSQWare====
+
====Vérification des prérequis système pour la partie "locale" (ksh + rsync)====
−
/!\ Uniquement que les instances qui seront en statut "DIST" !<br/>
+
SQWareProduction étant écrit essentiellement en shell ksh et étant synchronisé depuis SQWareCentral avec rsync, il nous faut donc "ksh" et "rsync" installés !
−
Adaptez aux besoins en fonction de ce que vous voulez faire ...<br/>
+
 
 +
=====Vérification=====
 +
Adaptez à votre nom de user et nom de machine.<br>
 +
<br>
 +
ksh:
 +
<syntaxhighlight lang="sh" line>
 +
# From : postgres@my_postgresql_host
 +
type ksh
 +
#ou
 +
which ksh
 +
</syntaxhighlight>
 +
rsync:
 +
<syntaxhighlight lang="sh" line>
 +
# postgres@my_postgresql_host
 +
type rsync
 +
#ou
 +
which rsync
 +
</syntaxhighlight>
 +
 
 +
=====Installation=====
 +
Adaptez à votre type de machine (sudo si vous n'êtes pas root).<br/>
 +
<br>
 +
RedHat / CentOS / ... :
 +
<syntaxhighlight lang="sh" line>
 +
# From : root@my_postgresql_host
 +
yum install -y ksh rsync
 +
#ou
 +
dnf install -y ksh rsync
 +
</syntaxhighlight>
  
−
Exemple avec role superuser
+
Ubuntu / Debian / ... :
−
psql
+
<syntaxhighlight lang="sh" line>
−
create user dbsdba password 'myPassword';
+
# From : root@my_postgresql_host
−
alter user dbsdba with superuser;
+
apt install -y ksh rsync
 +
</syntaxhighlight>
  
−
Exemple avec juste "lecture"
+
====Modification user unix ====
−
#>= Version 10, 11, ...
+
Adaptez à votre type de machine (sudo si vous n'êtes pas root).<br/>
−
psql
+
Modification du homedir (pas obligatoire mais évite de se retrouver dans /var/lib/postgres) :
−
create user dbsdba password 'myPassword';
+
<syntaxhighlight lang="sh" line>
−
grant pg_monitor,pg_read_all_settings,pg_read_all_stats to dbsdba;
+
# From : root@my_postgresql_host
 +
mkdir -p /home/postgres
 +
chown postgres:postgres /home/postgres
 +
chmod 750 /home/postgres
 +
</syntaxhighlight>
  
−
Ajout de la ligne pour pouvoir se connecter à distance (ACL PostgreSQL, mettre le user créé et l'IP du point central "sqwarebox")
+
<syntaxhighlight lang="sh" line>
−
postgres@srvdbpg01:/pgdata/PG_120/data (PG_120) $ vi pg_hba.conf
+
##Stop instance (pg_ctl stop -D $PGDATA -m fast)
−
host    all            dbsdba  192.168.230.20/24      md5
+
usermod -d /home/postgres postgres
 +
##Start instance (pg_ctl start -D $PGDATA)
  
−
Rechargement de la conf après modification du pg_hba.conf
+
#Ou directement vi /etc/passwd !
−
#Rechargement de la conf pg_ctl (si $PGDATA positionné)
+
</syntaxhighlight>
−
pg_ctl reload
 
−
ou
 
−
pg_ctl reload -D $PGDATA
 
−
 
−
##Rechargement de la conf avec connexion psql
 
−
psql
 
−
select pg_reload_conf();
 
  
−
Vous pouvez mettre le nom et le mot de passe que vous souhaitez !<br/>
+
Affectez un passwd au user postgres (sinon la connexion par échange de clés ne fonctionnera pas !) :
−
Ce compte devra être déclaré sur le compte unix postgres@sqwarebox ...<br/>
+
<syntaxhighlight lang="sh" line>
−
postgres@sqwarebox:/home/postgres () $ cat .passwd_postgres
+
# From : root@my_postgresql_host
−
DbAlias;UserName;Passwd;HostName;Port
+
passwd postgres
−
PG_120;dbsdba;myPassword;srvdbpg01;5432
+
</syntaxhighlight>
  
 
====Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)====
 
====Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)====
−
/!\ Uniquement que les instances qui seront en statut "ON" !<br/>
 
 
Il existe deux manières de procéder :
 
Il existe deux manières de procéder :
 
*Une automatique (depuis dbsqware@sqwarebox mais vous oblige à connaitre le mdp du compte unix postgres)
 
*Une automatique (depuis dbsqware@sqwarebox mais vous oblige à connaitre le mdp du compte unix postgres)
Ligne 210 : Ligne 199 :
  
 
=====Déploiement de(s) clé(s) ssh : méthode batch=====
 
=====Déploiement de(s) clé(s) ssh : méthode batch=====
−
# From : dbsqware@sqwarebox
+
<syntaxhighlight lang="sh" line>
−
menu_pg GenDeplSshKeys_SQWareCentral GenLstInstanceNew
+
# From : dbsqware@sqwarebox
 +
menu_pg GenDeplSshKeys_SQWareCentral GenLstInstanceNew
 +
</syntaxhighlight>
 
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...<br/>
 
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...<br/>
 
=> Entrez le mdp unix quand il vous est demandé !
 
=> Entrez le mdp unix quand il vous est demandé !
  
 
=====Déploiement de(s) clé(s) ssh : méthode manuelle=====
 
=====Déploiement de(s) clé(s) ssh : méthode manuelle=====
−
# From : postgres@my_postgresql_host
+
<syntaxhighlight lang="sh" line>
−
if [ ! -r $HOME/.ssh/id_rsa ]
+
# From : postgres@my_postgresql_host
−
then
+
if [ ! -r $HOME/.ssh/id_rsa ]
−
ssh-keygen -t rsa -N "" -f $HOME/.ssh/id_rsa
+
then
−
fi
+
ssh-keygen -t rsa -N '' -f $HOME/.ssh/id_rsa
−
chmod go-w $HOME
+
fi
−
echo "ssh-rsa AAAAB......XSPpdV11 dbsqware@sqwarebox" >>$HOME/.ssh/authorized_keys
+
chmod go-w $HOME
−
chmod 700 $HOME/.ssh
+
echo "ssh-rsa AAAAB......XSPpdV11 dbsqware@sqwarebox" >>$HOME/.ssh/authorized_keys
−
chmod 600 $HOME/.ssh/authorized_keys
+
chmod 700 $HOME/.ssh
−
=> Mettre la bonne clé dans le "echo (celle de dbsqware@sqwarebox)
+
chmod 600 $HOME/.ssh/authorized_keys
 +
</syntaxhighlight>
 +
=> Mettre la bonne clé dans le "echo" (celle de dbsqware@sqwarebox)
  
 
====Test de connexion ssh depuis SQWareCentral====
 
====Test de connexion ssh depuis SQWareCentral====
−
/!\ Uniquement que les instances qui seront en statut "ON" !
+
<syntaxhighlight lang="sh" line>
−
# From : dbsqware@sqwarebox
+
# From : dbsqware@sqwarebox
−
menu_pg TestSshConnection GenLstInstanceNew
+
menu_pg TestSshConnection GenLstInstanceNew
 +
</syntaxhighlight>
  
 
====Déploiement de SQWareProduction====
 
====Déploiement de SQWareProduction====
−
/!\ Uniquement que les instances qui seront en statut "ON" !
+
<syntaxhighlight lang="sh" line>
−
# From : dbsqware@sqwarebox
+
# From : dbsqware@sqwarebox
−
+
 
−
#Si depl sur user "unique"
+
#Si depl sur user "unique"
−
menu_pg DeplScripts GenLstUniqueNew
+
menu_pg DeplScripts GenLstUniqueNew
  
−
#Si depl sur user "de l'instance"
+
#Si depl sur user "de l'instance" celui spécifié dans SQWareRepository
−
menu_pg DeplScripts GenLstInstanceNew
+
menu_pg DeplScripts GenLstInstanceNew
 +
</syntaxhighlight>
 +
Pour user "unique" c'est l'utilisateur "standard", par défaut nous le réglons sur "postgres", et il peut être modifié dans SQWareCentral.
  
 
====Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile====
 
====Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile====
−
/!\ Uniquement que les instances qui seront en statut "ON" !<br/>
 
 
Une nouvelle fois, il existe deux manières de procéder :
 
Une nouvelle fois, il existe deux manières de procéder :
 
*Une automatique (depuis dbsqware@sqwarebox)
 
*Une automatique (depuis dbsqware@sqwarebox)
Ligne 249 : Ligne 244 :
  
 
=====Ajout de l'environnement dbSQWare : méthode batch=====
 
=====Ajout de l'environnement dbSQWare : méthode batch=====
−
# From : dbsqware@sqwarebox
+
<syntaxhighlight lang="sh" line>
−
menu_pg AdddbSQWareProfile GenLstInstanceNew
+
# From : dbsqware@sqwarebox
 +
menu_pg AdddbSQWareProfile GenLstInstanceNew
 +
</syntaxhighlight>
 
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...<br/>
 
Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...<br/>
 
=> Dans ~/.profile ou ~/.bash_profile, changez la variable suivante avec la valeur adaptée : gvsqw_Env='XXX'
 
=> Dans ~/.profile ou ~/.bash_profile, changez la variable suivante avec la valeur adaptée : gvsqw_Env='XXX'
Ligne 256 : Ligne 253 :
 
=====Ajout de l'environnement dbSQWare : méthode manuelle=====
 
=====Ajout de l'environnement dbSQWare : méthode manuelle=====
 
Ajoutez les lignes suivantes dans le ~/.profile ou ~/.bash_profile
 
Ajoutez les lignes suivantes dans le ~/.profile ou ~/.bash_profile
−
# From : postgres@my_postgresql_host
+
<syntaxhighlight lang="sh" line>
−
+
# From : postgres@my_postgresql_host
−
#dbSQWare
+
 
−
export gvsqw_PgBin=$HOME/SQWareProduction/postgres/bin
+
#dbSQWare
−
export gvsqw_Env='PRD'
+
export gvsqw_PgBin=$HOME/SQWareProduction/postgres/bin
−
lvsqw_IsTerminal=$(tty 2>&1 >/dev/null;echo $?)
+
export gvsqw_Env='PRD'
−
if [ "$lvsqw_IsTerminal" = "0" ] && [ -r $gvsqw_PgBin/../etc/.profile_confort ]
+
lvsqw_IsTerminal=$(tty 2>&1 >/dev/null;echo $?)
−
then
+
if [ "$lvsqw_IsTerminal" = "0" ] && [ -r $gvsqw_PgBin/../etc/.profile_confort ]
−
    . $gvsqw_PgBin/../etc/.profile_confort
+
then
−
fi
+
  . $gvsqw_PgBin/../etc/.profile_confort
 +
fi
 +
</syntaxhighlight>
  
 
=====Ajout de la variable PG_SID=====
 
=====Ajout de la variable PG_SID=====
−
Ajoutez la variable PG_SID dans le ~/.profile ou ~/.bash_profile (et éventuellement la variable PGDATA)
+
'''Quelque soit la méthode utilisée :''' ajoutez la variable PG_SID dans le ~/.profile ou ~/.bash_profile (et éventuellement la variable PGDATA)
−
# From : postgres@my_postgresql_host
+
<syntaxhighlight lang="sh" line>
−
export PG_SID=PG_MONAPPLI_PRD
+
# From : postgres@my_postgresql_host
−
export PGDATA=/pgdata/$PG_SID/data
+
export PG_SID=PG_MONAPPLI_PRD
 +
export PGDATA=/pgdata/$PG_SID/data
 +
</syntaxhighlight>
  
 
====Test sendmail (non obligatoire)====
 
====Test sendmail (non obligatoire)====
 +
<syntaxhighlight lang="sh" line>
 +
# From : dbsqware@sqwarebox
 +
menu_pg TestSendmail GenLstInstanceNew
 +
</syntaxhighlight>
 +
 +
====Test de connexion "manuel" à l'instance PostgreSQL (connexion "locale")====
 
/!\ Uniquement que les instances qui seront en statut "ON" !
 
/!\ Uniquement que les instances qui seront en statut "ON" !
−
# From : dbsqware@sqwarebox
+
<syntaxhighlight lang="sh" line>
−
menu_pg TestSendmail GenLstInstanceNew
+
# From : dbsqware@sqwarebox
 +
menu_pg TestInstConnectionOnNoMail GenLstInstanceNew
 +
</syntaxhighlight>
 +
 
 +
===Procédure spécifique pour la partie "distante" (statut DIST)===
 +
 
 +
====Création d'un compte PostgreSQL spécifique dbSQWare (Pour connexion distante)====
 +
Adaptez aux besoins en fonction de ce que vous voulez faire ...<br/>
 +
 
 +
Exemple avec role superuser
 +
psql
 +
<syntaxhighlight lang="sql" line>
 +
create user dbsdba password 'NePasMettreCePassword!';
 +
alter user dbsdba with superuser;
 +
</syntaxhighlight>
 +
 
 +
Exemple avec juste "lecture"
 +
#>= Version 10, 11, ...
 +
psql
 +
<syntaxhighlight lang="sql" line>
 +
create user dbsdba password 'NePasMettreCePassword!';
 +
grant pg_monitor,pg_read_all_settings,pg_read_all_stats to dbsdba;
 +
</syntaxhighlight>
  
−
===Tests de connexion "manuels" à l'instance PostgreSQL===
+
Exemple pour un env "RDS"
−
Le but étant de tester la ou les méthodes de connexion automatique à l'instance PostgreSQL.
+
<syntaxhighlight lang="sql" line>
−
* "locale", pour les instances qui seront en statut "ON"
+
create user dbsdba password 'NePasMettreCePassword!';
−
* "distante", pour le cas où l'on n'a accès à la machine en ssh (Windows, RDS, etc, ...)
+
grant rds_superuser to dbsdba;
 +
</syntaxhighlight>
 +
 
 +
Ajout de la ligne pour pouvoir se connecter à distance (ACL PostgreSQL, mettre le user créé et l'IP du point central "sqwarebox")
 +
<syntaxhighlight lang="sh" line>
 +
postgres@srvdbpg01:/pgdata/PG_120/data (PG_120) $ vi pg_hba.conf
 +
host    all            dbsdba  192.168.230.20/24      md5
 +
</syntaxhighlight>
 +
 
 +
Rechargement de la conf après modification du pg_hba.conf
 +
<syntaxhighlight lang="sh" line>
 +
#Rechargement de la conf pg_ctl (si $PGDATA positionné)
 +
pg_ctl reload
 +
ou
 +
pg_ctl reload -D $PGDATA
 +
 
 +
##Rechargement de la conf avec connexion psql
 +
psql
 +
select pg_reload_conf();
 +
</syntaxhighlight>
  
−
====Test connexion "locale"====
+
Vous pouvez mettre le nom et le mot de passe que vous souhaitez !<br/>
−
/!\ Uniquement que les instances qui seront en statut "ON" !
+
Ce compte devra être déclaré sur le compte unix postgres@sqwarebox ...<br/>
−
# From : dbsqware@sqwarebox
+
<syntaxhighlight lang="sh" line>
−
menu_pg TestInstConnectionOnNoMail GenLstInstanceNew
+
postgres@sqwarebox:/home/postgres () $ cat .passwd_postgres
 +
DbAlias;UserName;Passwd;HostName;Port
 +
PG_120;dbsdba;myPassword;srvdbpg01;5432
 +
</syntaxhighlight>
  
 
====Test connexion "distante"====
 
====Test connexion "distante"====
−
/!\ Uniquement si besoin ! (pour connexion distante)
+
<syntaxhighlight lang="sh" line>
−
# From : dbsqware@sqwarebox
+
# From : dbsqware@sqwarebox
−
menu_pg TestInstConnectionDistNoMail GenLstInstanceNew
+
menu_pg TestInstConnectionDistNoMail GenLstInstanceNew
 +
</syntaxhighlight>
  
 
==Mise en exploitation de l'instance==
 
==Mise en exploitation de l'instance==
 
===Génération de la configuration par défaut SQWareProduction===
 
===Génération de la configuration par défaut SQWareProduction===
 
/!\ Uniquement que les instances qui seront en statut "ON" !
 
/!\ Uniquement que les instances qui seront en statut "ON" !
−
# From : dbsqware@sqwarebox
+
<syntaxhighlight lang="sh" line>
−
menu_pg GenDefConf_SQWareProduction GenLstInstanceNew
+
# From : dbsqware@sqwarebox
 +
menu_pg GenDefConf_SQWareProduction GenLstInstanceNew
 +
</syntaxhighlight>
  
 
===Mise à jour de SQWareRepository===
 
===Mise à jour de SQWareRepository===
Ligne 304 : Ligne 358 :
 
===Test de "reprise" des indicateurs===
 
===Test de "reprise" des indicateurs===
 
A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !)
 
A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !)
−
# From : dbsqware@sqwarebox
+
<syntaxhighlight lang="sh" line>
−
## Pour les statuts "ON"
+
# From : dbsqware@sqwarebox
−
repind_pg
+
## Pour les statuts "ON"
−
## Pour les statuts "DIST"
+
repind_pg
−
  repind_pg_dist
+
## Pour les statuts "DIST"
 +
repind_pg_dist
 +
</syntaxhighlight>
 +
 
 +
===Exploitation (stats, backups, …) pour les instance "ON"===
 +
====Génération des conf SQWareProduction====
 +
Si vous avez suivi la procédure d’insertion de l’instance, cette partie est déjà fait par l’étape "menu_pg GenDefConf_SQWareProduction GenLstInstanceNew".<br/>
 +
Vous pouvez vérifier avec le chapitre suivant.<br/>
 +
<br/>
 +
Se connecter à la machine qui porte l'instance « PostgreSQL » et taper les commandes suivantes :<br/>
 +
<syntaxhighlight lang="sh" line>
 +
# From dbsqware@vpgwarebox
 +
c PG_INST_PRD
 +
</syntaxhighlight>
 +
 
 +
<syntaxhighlight lang="sh" line>
 +
#Source de l'env si multi-instance (from postgres@my_pg_host)
 +
e PG_INST_PRD
 +
</syntaxhighlight>
 +
 
 +
<syntaxhighlight lang="sh" line>
 +
too
 +
./sqwpg_GenerateCreateInstance.ksh -dbsOnly
 +
</syntaxhighlight>
 +
Vérifier que ce qui est proposé est bon et tapez « y » si c’est le cas.<br/>
 +
A ce moment, vous avez généré les fichiers de configuration par défaut de SQWareProduction.
 +
 
 +
====Explications====
 +
Les étapes précédentes ont créé certains fichiers par défaut. ($HOME/PG_INST_PRD/sqwConfig)
 +
<syntaxhighlight lang="sh" line>
 +
#Entrez le nom de l’instance
 +
e PG_INST_PRD
 +
cfg
 +
cat sqwpg_Jobs.cfg
 +
</syntaxhighlight>
 +
 
 +
<syntaxhighlight lang="sh" line>
 +
#IndicDba: Gather DBAs indicators
 +
IndicDba:$gvsqw_PgBin/sqwpg_GatherIndicators.ksh -I PG_INST_PRD
 +
 
 +
#Dump: backup all databases with pg_Dump
 +
Dump:$gvsqw_PgBin/sqwpg_DumpAllDatabases.ksh -I PG_INST_PRD -Exec
 +
 
 +
#Reindex : reorganize tables for all databases
 +
Reindex:$gvsqw_PgBin/sqwpg_ReindexAllDatabases.ksh -I PG_INST_PRD -Exec
 +
 
 +
#Analyse : analyze tables for all databases
 +
Analyze:$gvsqw_PgBin/sqwpg_AnalyzeAllDatabases.ksh -I PG_INST_PRD -Exec
 +
 
 +
#Vacuum: Rotate log slow query
 +
Vacuum:$gvsqw_PgBin/sqwpg_VacuumAllDatabases.ksh -I PG_INST_PRD -Exec
 +
 
 +
#PITR: backup PITR
 +
PITR:$gvsqw_PgBin/sqwpg_BackupPitr.ksh -I PG_INST_PRD -Exec
 +
</syntaxhighlight>
 +
 
 +
C’est un fichier de paramétrage qui est utilisé par le script sqwpg_RunJob.ksh pour exécuter des actions.<br/>
 +
<br/>
 +
Fichier pour une cron par défaut $HOME/CrontabRef_PG_INST_PRD :
 +
<syntaxhighlight lang="sh" line>
 +
###########################
 +
## mm(0-59) hh(0-23) dd(1-31) MM(0-12) DAY(0-sunday, 1-monday, ...) command
 +
## PG_INST_PRD
 +
# PITR
 +
55 19 * * * ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A PITR > $HOME/tmp/PITR_PG_INST_PRD.log 2>&1'
 +
# Dump
 +
55 20 * * * ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A Dump > $HOME/tmp/Dump_PG_INST_PRD.log 2>&1'
 +
# Reindex
 +
55 04 * * 6 ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A Reindex > $HOME/tmp/Reindex_PG_INST_PRD.log 2>&1'
 +
# Analyze
 +
55 05 * * 6 ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A Analyze > $HOME/tmp/Analyze_PG_INST_PRD.log 2>&1'
 +
# Vacuum
 +
55 06 * * 6 ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A Vacuum > $HOME/tmp/Vacuum_PG_INST_PRD.log 2>&1'
 +
</syntaxhighlight>
 +
 
 +
====Mise en exploitation====
 +
Mise en place de la cron :
 +
<syntaxhighlight lang="sh" line>
 +
mv $HOME/CrontabRef_PG_INST_PRD $HOME/CrontabRef
 +
vi $HOME/CrontabRef
 +
crontab $HOME/CrontabRef
 +
crontab -l
 +
</syntaxhighlight>
 +
 
 +
Mise à jour du fichier CrontabRef  :
 +
<syntaxhighlight lang="sh" line>
 +
crontab -l > $HOME/CrontabRef
 +
cat $HOME/CrontabRef
 +
</syntaxhighlight>
 +
 
 +
====Commandes utiles====
 +
alias intéressants :
 +
e DBALIAS => source l'env pour l'instance
 +
bin, etc, too ... => pour aller dans arbo SQWareProduction standard
 +
cbin, cetc, ctoo ... => pour aller dans arbo SQWareProduction custom
 +
log => logs SQWareProduction
 +
dmp => on va dans les chemins de backup
 +
 
 +
Quelques options des scripts :
 +
-h => aide en ligne
 +
-s => exemples en ligne
 +
-Exec => lorsque elle est présente, si non settée ne sort que les commandes sans les exécuter
 +
 
 +
Exemples :
 +
postgres@my_pg_host:$HOME/admin/PG_INST_PRD/logs/DumpAllDatabases (PG_INST_PRD) $ bin
 +
total 116
 +
drwxr-x---  2 postgres postgres  4096 Aug 16 13:59 .
 +
drwxr-x--- 15 postgres postgres  4096 Aug 16 13:59 ..
 +
-rwxr-x--- 1 postgres postgres 12081 Aug 16 13:59 sqwArchmon
 +
-rwxr-x---  1 postgres postgres  3004 Aug 16 13:59 sqwpg_AnalyzeAllDatabases.ksh
 +
-rwxr-x---  1 postgres postgres  2558 Aug 16 13:59 sqwpg_AnalyzeDatabase.ksh
 +
-rwxr-x---  1 postgres postgres  2832 Aug 16 13:59 sqwpg_ArchiveXlog.ksh
 +
-rwxr-x---  1 postgres postgres  3648 Aug 16 13:59 sqwpg_BackupArchiveXlog.ksh
 +
-rwxr-x---  1 postgres postgres  4036 Aug 16 13:59 sqwpg_BackupPitr.ksh
 +
-rwxr-x---  1 postgres postgres  5427 Aug 16 13:59 sqwpg_CopyDumpAllDatabases.ksh
 +
-rwxr-x---  1 postgres postgres  5327 Aug 16 13:59 sqwpg_CopyDumpDatabase.ksh
 +
-rwxr-x---  1 postgres postgres  4392 Aug 16 13:59 sqwpg_DumpAllDatabases.ksh
 +
-rwxr-x---  1 postgres postgres  4141 Aug 16 13:59 sqwpg_DumpDatabase.ksh
 +
-rwxr-x---  1 postgres postgres  3825 Aug 16 13:59 sqwpg_DumpGlobalsOnly.ksh
 +
lrwxrwxrwx  1 postgres postgres    36 Jan  2  2022 sqwpg_ExecSQL.ksh -> ../../generic/bin/sqwgen_ExecSQL.ksh
 +
-rwxr-x---  1 postgres postgres  2449 Aug 16 13:59 sqwpg_GatherIndicators.ksh
 +
-rwxr-x---  1 postgres postgres  2449 Aug 16 13:59 sqwpg_GatherStructure.ksh
 +
lrwxrwxrwx  1 postgres postgres    38 Jan  2  2022 sqwpg_NetBackup.ksh -> ../../generic/bin/sqwgen_NetBackup.ksh
 +
lrwxrwxrwx  1 postgres postgres    40 Jan  2  2022 sqwpg_ParallelRun.ksh -> ../../generic/bin/sqwgen_ParallelRun.ksh
 +
-rwxr-x---  1 postgres postgres  3003 Aug 16 13:59 sqwpg_ReindexAllDatabases.ksh
 +
-rwxr-x---  1 postgres postgres  2563 Aug 16 13:59 sqwpg_ReindexDatabase.ksh
 +
-rwxr-x---  1 postgres postgres  3691 Aug 16 13:59 sqwpg_RestoreAllDatabases.ksh
 +
-rwxr-x---  1 postgres postgres  3258 Aug 16 13:59 sqwpg_RestoreDatabase.ksh
 +
lrwxrwxrwx  1 postgres postgres    40 Jan  2  2022 sqwpg_RsyncBackup.ksh -> ../../generic/bin/sqwgen_RsyncBackup.ksh
 +
lrwxrwxrwx  1 postgres postgres    35 Jan  2  2022 sqwpg_RunJob.ksh -> ../../generic/bin/sqwgen_RunJob.ksh
 +
-rwxr-x---  1 postgres postgres  6717 Aug 16 13:59 sqwpg_SqwArchmon.ksh
 +
-rwxr-x---  1 postgres postgres  3003 Aug 16 13:59 sqwpg_VacuumAllDatabases.ksh
 +
-rwxr-x---  1 postgres postgres  2552 Aug 16 13:59 sqwpg_VacuumDatabase.ksh
 +
 
 +
postgres@my_pg_host:$HOME/SQWareProduction/postgres/bin (PG_INST_PRD) $
 +
./sqwpg_DumpAllDatabases.ksh -h
 +
 +
Sourcing sqwpg_Global.lib v2023.06 SQWareProduction for PostgreSQL (dbSQWare) ...
 +
 +
Usage: sqwpg_DumpAllDatabases.ksh [-h] -I instance [+ options]
 +
 +
DESCRIPTION
 +
    sqwpg_DumpAllDatabases.ksh Dump databases in parallel
 +
SUPPORT
 +
    PostgreSQL supported versions: 9.0 <= v <= 15
 +
 +
PARAMETERS
 +
      -I  instance      : Target instance to pg_dump.
 +
OPTIONS
 +
      -h  help          : Display the full usage.
 +
      -s                : Display samples of usage.
 +
      -P  Nb threads    : Number of threads in parallel (by default 2).
 +
      -F  format        : Format of pg_dump (p,t,c).
 +
      -S                : Sort databases list by size: 'pg_database_size(oid) desc'.
 +
      -RD directory      : Directory to write dump file (default /pgbackup/$PG_SID).
 +
      -ID listdb        : List of databases to be dumped (by default all).
 +
      -ED listdb        : List of databases to exclude from dump.
 +
      -IL likeclause    : Like clause to generate databases list (example: 'db%').
 +
      -EL likeclause    : Like clause to exclude databases (example: 'nodb%').
 +
      -HI Nb_Generations : Number of generations to keep (by default 2).
 +
      -WCD  whereclause  : Where clause to generate databases list.
 +
      -AGR  Nb sec      : Nb of seconds between two runs (by default 1s).
 +
      -AGE  Nb sec      : Nb of seconds between two checks of end (by default 1s).
 +
      -ZIP extension    : Compressor extension gz,bz2,Z,none (default: gz).
 +
      -FRT  return_code  : Force return code value on error.
 +
      -AddMail email    : Email address to add at 'xxx'.
 +
      -SendReport        : Send execution log report.
 +
      -Dist              : For distant connection to database (change $gvsqw_ConnectString to $gvsqw_DistConnectString ).
 +
      -ForceDump        : Force the DUMP even if the cluster is in recovery mode (par defaut, 'Disable').
 +
      -NoForceDump      : don't exec DUMP if the cluster is in recovery mode (par defaut, 'Disable').
 +
      -NoMail            : Deactivate sendmail on error xxx (by default, send on error).
 +
      -Locale  locale  : Force Locale for help display (fr,en).
 +
      -Exec              : Execute commands (default, display generated commands)
 +
 
 +
Enjoy !

Version actuelle datée du 15 novembre 2024 à 15:41

Sommaire

Généralités


Attention.png
Warning:
Avant toutes choses, n'allez pas plus loin si vous n'avez pas lu la section "Concepts dbSQWare" !.

Dans ce chapitre, on considèrera que SQWareCentral a été installé sur dbsqware@sqwarebox ...

Limites de cette section

Ce chapitre ne traite que de l'ajout d'une nouvelle instance sur un socle déjà paramétré et fonctionnel.
Utilisez les portions qui concernent votre environnement et utilisez la méthode match ou manuelle au choix !

MODOP général d'intégration d'une nouvelle instance PostgreSQL

Il y aura potentiellement 1 ou 2 cas de connexion à traiter

  • "locale", pour les machines unix (ou avec Cygwin) où l'on va faire du "postgres" sur la machine qui porte l'instance (connexion ssh depuis dbsqware@sqwarebox)
  • "distante", pour le cas où l'on n'a accès à la machine en ssh (Windows, RDS, etc, ...)

Etapes classiques :

  • Mise en place de l'environnement
  • Vérification des prérequis système pour la partie "locale" (ksh + rsync)
  • Tests "manuels"
  • Mise en exploitation de l'instance

Vous verrez que ces étapes peuvent être traitée une par une ou par batch !

Intégration d'une instance PostgreSQL

Mise en place de l'environnement

Général

Explication du "DbAlias" (la clé unique dbSQWare)

La clé dbSQWare doit être unique et raccord avec ce qui aura été paramétré pour la variable gvsqw_DbAlias dans sqwpg_GlobalVar.cfg !
On va utiliser une variable, PG_SID qui n'a aucune valeur pour PostgreSQL mais qui va identifier l'instance dans dbSQWare.
Par "convention", on utilise souvent PG "_" APPLI "_" ENV.
Exemple : PG_MONAPPLI_PRD ou PG_DEUXAPPLI_DEV ...
Mais rien n'est imposé, vous choisissez ce qui "vous arrange" ! Il faudra juste positionner la variable PG_SID dans le profile du compte postgres avec la valeur souhaitée.

Explication des statuts
  • Une instance sera traitée en mode "local", c’est-à-dire que l’on va se connecter en "psql" en local sur la machine qui porte l’instance (accès ssh depuis dbsqware@sqwarebox), statut "ON".
  • Une instance où l’on n’aurait pas d'accès unix local serait gérée en mode "distant" (style Windows, RDS, ...), statut "DIST".
  • Le statut "OFF" fait "disparaître" l’instance de la visu web.
  • Le statut "NEW" est utilisé comme statut intermédiaire entre le début et la fin du paramétrage d'une nouvelle instance.
  • Tous les autres statuts permettent d’afficher l’instance dans le référentiel (notamment "KEEP") mais ne seront pas pris en compte par les traitements automatiques.


Résumé des statuts :

Statut Description
ON gestion locale sous unix (le plus courant)
DIST gestion uniquement à distance
KEEP statut temporaire, lors d'une maintenance par exemple ou avant suppression complète
NEW statut temporaire, lors du paramétrage
OFF suppression visuelle de l'instance (sans suppression de son paramétrage)
XXX non pris en charge ...

Déclaration de l'instance dans SQWareRepository avec SQWareWeb

Nous allons déclarer la nouvelle instance depuis l'interface d'administration de SQWareWeb.
Lien vers la console d'administration

Déclarez la nouvelle instance en statut "NEW" (Ajout ou Duplicate)
Ajout d'une instance Ajout par duplication d'une instance
Déclaration de la nouvelle instance PostgreSQL

Explication des champs :

Champ Description
Db Alias Clé unique qui identifie l'instance dans dbSQWare (pas de valeur pour PostgreSQL)
Dbms Name Type de SGBD
Virtual Host Host virtuel (meme que Host si pas cluster)
Host Name Hostname de l'instance
User Name User qui porte l'instance
Port Port d'écoute de l'instance
Comments Une courte description de ce que porte l'instance
Status Instance statut (cf plus haut pour les explications)
Contact Un contact si besoin
Environnement Environnement de l'instance (PRD, PPR, REC, DEV, TST, ...)
Client Utilisé uniquement pour filtrer (mettre un nom de client et/ou de département et/ou service ...
GlobalHost Champ libre dans lequel on met souvent l'hôte de hyperviseur par exemple
Custom1 Champ libre 1
Custom2 Champ libre 2
Regénérer les fichiers de référence de SQWareCentral

Tapez la commande suivante qui va générer les fichiers de référence : 

1 # From : dbsqware@sqwarebox
2 gen_all

Procédure spécifique pour la partie "locale" (statut ON)

/!\ Uniquement que les instances qui seront en statut "ON" !

Vérification des prérequis système pour la partie "locale" (ksh + rsync)

SQWareProduction étant écrit essentiellement en shell ksh et étant synchronisé depuis SQWareCentral avec rsync, il nous faut donc "ksh" et "rsync" installés !

Vérification

Adaptez à votre nom de user et nom de machine.

ksh: 

1 # From : postgres@my_postgresql_host
2 type ksh
3 #ou
4 which ksh

rsync: 

1 # postgres@my_postgresql_host
2 type rsync
3 #ou
4 which rsync
Installation

Adaptez à votre type de machine (sudo si vous n'êtes pas root).

RedHat / CentOS / ... : 

1 # From : root@my_postgresql_host
2 yum install -y ksh rsync
3 #ou
4 dnf install -y ksh rsync

Ubuntu / Debian / ... : 

1 # From : root@my_postgresql_host
2 apt install -y ksh rsync

Modification user unix

Adaptez à votre type de machine (sudo si vous n'êtes pas root).
Modification du homedir (pas obligatoire mais évite de se retrouver dans /var/lib/postgres) : 

1 # From : root@my_postgresql_host
2 mkdir -p /home/postgres
3 chown postgres:postgres /home/postgres
4 chmod 750 /home/postgres

1 ##Stop instance (pg_ctl stop -D $PGDATA -m fast)
2 usermod -d /home/postgres postgres
3 ##Start instance (pg_ctl start -D $PGDATA)
4 
5 #Ou directement vi /etc/passwd !

Affectez un passwd au user postgres (sinon la connexion par échange de clés ne fonctionnera pas !) : 

1 # From : root@my_postgresql_host
2 passwd postgres

Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)

Il existe deux manières de procéder :

  • Une automatique (depuis dbsqware@sqwarebox mais vous oblige à connaitre le mdp du compte unix postgres)
  • Une manuelle que vous appliquez sur chaque compte unix postgres

/!\ Le mdp de votre compte postgres unix doit avoir été initialisé, si non, la connexion par échange de clé ne fonctionnera pas !

Déploiement de(s) clé(s) ssh : méthode batch
1 # From : dbsqware@sqwarebox
2 menu_pg GenDeplSshKeys_SQWareCentral GenLstInstanceNew

Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Entrez le mdp unix quand il vous est demandé !

Déploiement de(s) clé(s) ssh : méthode manuelle
1 # From : postgres@my_postgresql_host
2 if [ ! -r $HOME/.ssh/id_rsa ]
3 then
4 ssh-keygen -t rsa -N '' -f $HOME/.ssh/id_rsa
5 fi
6 chmod go-w $HOME
7 echo "ssh-rsa AAAAB......XSPpdV11 dbsqware@sqwarebox" >>$HOME/.ssh/authorized_keys
8 chmod 700 $HOME/.ssh
9 chmod 600 $HOME/.ssh/authorized_keys

=> Mettre la bonne clé dans le "echo" (celle de dbsqware@sqwarebox)

Test de connexion ssh depuis SQWareCentral

1 # From : dbsqware@sqwarebox
2 menu_pg TestSshConnection GenLstInstanceNew

Déploiement de SQWareProduction

1 # From : dbsqware@sqwarebox
2 
3 #Si depl sur user "unique"
4 menu_pg DeplScripts GenLstUniqueNew
5 
6 #Si depl sur user "de l'instance" celui spécifié dans SQWareRepository
7 menu_pg DeplScripts GenLstInstanceNew

Pour user "unique" c'est l'utilisateur "standard", par défaut nous le réglons sur "postgres", et il peut être modifié dans SQWareCentral.

Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile

Une nouvelle fois, il existe deux manières de procéder :

  • Une automatique (depuis dbsqware@sqwarebox)
  • Une manuelle que vous appliquez sur chaque compte unix postgres
Ajout de l'environnement dbSQWare : méthode batch
1 # From : dbsqware@sqwarebox
2 menu_pg AdddbSQWareProfile GenLstInstanceNew

Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Dans ~/.profile ou ~/.bash_profile, changez la variable suivante avec la valeur adaptée : gvsqw_Env='XXX'

Ajout de l'environnement dbSQWare : méthode manuelle

Ajoutez les lignes suivantes dans le ~/.profile ou ~/.bash_profile 

 1 # From : postgres@my_postgresql_host
 2 
 3 #dbSQWare
 4 export gvsqw_PgBin=$HOME/SQWareProduction/postgres/bin
 5 export gvsqw_Env='PRD'
 6 lvsqw_IsTerminal=$(tty 2>&1 >/dev/null;echo $?)
 7 if [ "$lvsqw_IsTerminal" = "0" ] && [ -r $gvsqw_PgBin/../etc/.profile_confort ]
 8 then
 9    . $gvsqw_PgBin/../etc/.profile_confort
10 fi
Ajout de la variable PG_SID

Quelque soit la méthode utilisée : ajoutez la variable PG_SID dans le ~/.profile ou ~/.bash_profile (et éventuellement la variable PGDATA) 

1 # From : postgres@my_postgresql_host
2 export PG_SID=PG_MONAPPLI_PRD
3 export PGDATA=/pgdata/$PG_SID/data

Test sendmail (non obligatoire)

1 # From : dbsqware@sqwarebox
2 menu_pg TestSendmail GenLstInstanceNew

Test de connexion "manuel" à l'instance PostgreSQL (connexion "locale")

/!\ Uniquement que les instances qui seront en statut "ON" ! 

1 # From : dbsqware@sqwarebox
2 menu_pg TestInstConnectionOnNoMail GenLstInstanceNew

Procédure spécifique pour la partie "distante" (statut DIST)

Création d'un compte PostgreSQL spécifique dbSQWare (Pour connexion distante)

Adaptez aux besoins en fonction de ce que vous voulez faire ...

Exemple avec role superuser 

psql

1 create user dbsdba password 'NePasMettreCePassword!';
2 alter user dbsdba with superuser;

Exemple avec juste "lecture" 

#>= Version 10, 11, ...
psql

1 create user dbsdba password 'NePasMettreCePassword!';
2 grant pg_monitor,pg_read_all_settings,pg_read_all_stats to dbsdba;

Exemple pour un env "RDS" 

1 create user dbsdba password 'NePasMettreCePassword!';
2 grant rds_superuser to dbsdba;

Ajout de la ligne pour pouvoir se connecter à distance (ACL PostgreSQL, mettre le user créé et l'IP du point central "sqwarebox") 

1 postgres@srvdbpg01:/pgdata/PG_120/data (PG_120) $ vi pg_hba.conf
2 host    all             dbsdba  192.168.230.20/24       md5

Rechargement de la conf après modification du pg_hba.conf 

1 #Rechargement de la conf pg_ctl (si $PGDATA positionné)
2 pg_ctl reload
3 ou
4 pg_ctl reload -D $PGDATA
5 
6 ##Rechargement de la conf avec connexion psql
7 psql
8 select pg_reload_conf();

Vous pouvez mettre le nom et le mot de passe que vous souhaitez !
Ce compte devra être déclaré sur le compte unix postgres@sqwarebox ...

1 postgres@sqwarebox:/home/postgres () $ cat .passwd_postgres
2 DbAlias;UserName;Passwd;HostName;Port
3 PG_120;dbsdba;myPassword;srvdbpg01;5432

Test connexion "distante"

1 # From : dbsqware@sqwarebox
2 menu_pg TestInstConnectionDistNoMail GenLstInstanceNew

Mise en exploitation de l'instance

Génération de la configuration par défaut SQWareProduction

/!\ Uniquement que les instances qui seront en statut "ON" ! 

1 # From : dbsqware@sqwarebox
2 menu_pg GenDefConf_SQWareProduction GenLstInstanceNew

Mise à jour de SQWareRepository

Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance PostgreSQL (à NEW actuellement) avec la valeur souhaitée (ON, DIST)

Test de "reprise" des indicateurs

A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !) 

1 # From : dbsqware@sqwarebox
2 ## Pour les statuts "ON"
3 repind_pg
4 ## Pour les statuts "DIST"
5 repind_pg_dist

Exploitation (stats, backups, …) pour les instance "ON"

Génération des conf SQWareProduction

Si vous avez suivi la procédure d’insertion de l’instance, cette partie est déjà fait par l’étape "menu_pg GenDefConf_SQWareProduction GenLstInstanceNew".
Vous pouvez vérifier avec le chapitre suivant.

Se connecter à la machine qui porte l'instance « PostgreSQL » et taper les commandes suivantes :

1 # From dbsqware@vpgwarebox
2 c PG_INST_PRD

1 #Source de l'env si multi-instance (from postgres@my_pg_host)
2 e PG_INST_PRD

1 too
2 ./sqwpg_GenerateCreateInstance.ksh -dbsOnly

Vérifier que ce qui est proposé est bon et tapez « y » si c’est le cas.
A ce moment, vous avez généré les fichiers de configuration par défaut de SQWareProduction.

Explications

Les étapes précédentes ont créé certains fichiers par défaut. ($HOME/PG_INST_PRD/sqwConfig) 

1 #Entrez le nom de l’instance
2 e PG_INST_PRD
3 cfg
4 cat sqwpg_Jobs.cfg

 1 #IndicDba: Gather DBAs indicators
 2 IndicDba:$gvsqw_PgBin/sqwpg_GatherIndicators.ksh -I PG_INST_PRD
 3 
 4 #Dump: backup all databases with pg_Dump
 5 Dump:$gvsqw_PgBin/sqwpg_DumpAllDatabases.ksh -I PG_INST_PRD -Exec
 6 
 7 #Reindex : reorganize tables for all databases
 8 Reindex:$gvsqw_PgBin/sqwpg_ReindexAllDatabases.ksh -I PG_INST_PRD -Exec
 9 
10 #Analyse : analyze tables for all databases
11 Analyze:$gvsqw_PgBin/sqwpg_AnalyzeAllDatabases.ksh -I PG_INST_PRD -Exec
12 
13 #Vacuum: Rotate log slow query
14 Vacuum:$gvsqw_PgBin/sqwpg_VacuumAllDatabases.ksh -I PG_INST_PRD -Exec
15 
16 #PITR: backup PITR
17 PITR:$gvsqw_PgBin/sqwpg_BackupPitr.ksh -I PG_INST_PRD -Exec

C’est un fichier de paramétrage qui est utilisé par le script sqwpg_RunJob.ksh pour exécuter des actions.

Fichier pour une cron par défaut $HOME/CrontabRef_PG_INST_PRD : 

 1 ###########################
 2 ## mm(0-59) hh(0-23) dd(1-31) MM(0-12) DAY(0-sunday, 1-monday, ...) command
 3 ## PG_INST_PRD
 4 # PITR
 5 55 19 * * * ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A PITR > $HOME/tmp/PITR_PG_INST_PRD.log 2>&1'
 6 # Dump
 7 55 20 * * * ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A Dump > $HOME/tmp/Dump_PG_INST_PRD.log 2>&1'
 8 # Reindex
 9 55 04 * * 6 ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A Reindex > $HOME/tmp/Reindex_PG_INST_PRD.log 2>&1'
10 # Analyze
11 55 05 * * 6 ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A Analyze > $HOME/tmp/Analyze_PG_INST_PRD.log 2>&1'
12 # Vacuum
13 55 06 * * 6 ksh -c '. $HOME/.profile PG_INST_PRD;$gvsqw_PgBin/sqwpg_RunJob.ksh -I PG_INST_PRD -A Vacuum > $HOME/tmp/Vacuum_PG_INST_PRD.log 2>&1'

Mise en exploitation

Mise en place de la cron : 

1 mv $HOME/CrontabRef_PG_INST_PRD $HOME/CrontabRef
2 vi $HOME/CrontabRef
3 crontab $HOME/CrontabRef
4 crontab -l

Mise à jour du fichier CrontabRef  : 

1 crontab -l > $HOME/CrontabRef
2 cat $HOME/CrontabRef

Commandes utiles

alias intéressants : 

e DBALIAS => source l'env pour l'instance
bin, etc, too ... => pour aller dans arbo SQWareProduction standard
cbin, cetc, ctoo ... => pour aller dans arbo SQWareProduction custom
log => logs SQWareProduction
dmp => on va dans les chemins de backup

Quelques options des scripts : 

-h => aide en ligne
-s => exemples en ligne
-Exec => lorsque elle est présente, si non settée ne sort que les commandes sans les exécuter

Exemples : 

postgres@my_pg_host:$HOME/admin/PG_INST_PRD/logs/DumpAllDatabases (PG_INST_PRD) $ bin
total 116
drwxr-x---  2 postgres postgres  4096 Aug 16 13:59 .
drwxr-x--- 15 postgres postgres  4096 Aug 16 13:59 ..
-rwxr-x---  1 postgres postgres 12081 Aug 16 13:59 sqwArchmon
-rwxr-x---  1 postgres postgres  3004 Aug 16 13:59 sqwpg_AnalyzeAllDatabases.ksh
-rwxr-x---  1 postgres postgres  2558 Aug 16 13:59 sqwpg_AnalyzeDatabase.ksh
-rwxr-x---  1 postgres postgres  2832 Aug 16 13:59 sqwpg_ArchiveXlog.ksh
-rwxr-x---  1 postgres postgres  3648 Aug 16 13:59 sqwpg_BackupArchiveXlog.ksh
-rwxr-x---  1 postgres postgres  4036 Aug 16 13:59 sqwpg_BackupPitr.ksh
-rwxr-x---  1 postgres postgres  5427 Aug 16 13:59 sqwpg_CopyDumpAllDatabases.ksh
-rwxr-x---  1 postgres postgres  5327 Aug 16 13:59 sqwpg_CopyDumpDatabase.ksh
-rwxr-x---  1 postgres postgres  4392 Aug 16 13:59 sqwpg_DumpAllDatabases.ksh
-rwxr-x---  1 postgres postgres  4141 Aug 16 13:59 sqwpg_DumpDatabase.ksh
-rwxr-x---  1 postgres postgres  3825 Aug 16 13:59 sqwpg_DumpGlobalsOnly.ksh
lrwxrwxrwx  1 postgres postgres    36 Jan  2  2022 sqwpg_ExecSQL.ksh -> ../../generic/bin/sqwgen_ExecSQL.ksh
-rwxr-x---  1 postgres postgres  2449 Aug 16 13:59 sqwpg_GatherIndicators.ksh
-rwxr-x---  1 postgres postgres  2449 Aug 16 13:59 sqwpg_GatherStructure.ksh
lrwxrwxrwx  1 postgres postgres    38 Jan  2  2022 sqwpg_NetBackup.ksh -> ../../generic/bin/sqwgen_NetBackup.ksh
lrwxrwxrwx  1 postgres postgres    40 Jan  2  2022 sqwpg_ParallelRun.ksh -> ../../generic/bin/sqwgen_ParallelRun.ksh
-rwxr-x---  1 postgres postgres  3003 Aug 16 13:59 sqwpg_ReindexAllDatabases.ksh
-rwxr-x---  1 postgres postgres  2563 Aug 16 13:59 sqwpg_ReindexDatabase.ksh
-rwxr-x---  1 postgres postgres  3691 Aug 16 13:59 sqwpg_RestoreAllDatabases.ksh
-rwxr-x---  1 postgres postgres  3258 Aug 16 13:59 sqwpg_RestoreDatabase.ksh
lrwxrwxrwx  1 postgres postgres    40 Jan  2  2022 sqwpg_RsyncBackup.ksh -> ../../generic/bin/sqwgen_RsyncBackup.ksh
lrwxrwxrwx  1 postgres postgres    35 Jan  2  2022 sqwpg_RunJob.ksh -> ../../generic/bin/sqwgen_RunJob.ksh
-rwxr-x---  1 postgres postgres  6717 Aug 16 13:59 sqwpg_SqwArchmon.ksh
-rwxr-x---  1 postgres postgres  3003 Aug 16 13:59 sqwpg_VacuumAllDatabases.ksh
-rwxr-x---  1 postgres postgres  2552 Aug 16 13:59 sqwpg_VacuumDatabase.ksh

postgres@my_pg_host:$HOME/SQWareProduction/postgres/bin (PG_INST_PRD) $ 
./sqwpg_DumpAllDatabases.ksh -h

Sourcing sqwpg_Global.lib v2023.06 SQWareProduction for PostgreSQL (dbSQWare) ...

Usage: sqwpg_DumpAllDatabases.ksh [-h] -I instance [+ options]

DESCRIPTION
   sqwpg_DumpAllDatabases.ksh Dump databases in parallel
SUPPORT
   PostgreSQL supported versions: 9.0 <= v <= 15

PARAMETERS
     -I  instance       : Target instance to pg_dump.
OPTIONS
     -h  help           : Display the full usage.
     -s                 : Display samples of usage.
     -P  Nb threads     : Number of threads in parallel (by default 2).
     -F  format         : Format of pg_dump (p,t,c).
     -S                 : Sort databases list by size: 'pg_database_size(oid) desc'.
     -RD directory      : Directory to write dump file (default /pgbackup/$PG_SID).
     -ID listdb         : List of databases to be dumped (by default all).
     -ED listdb         : List of databases to exclude from dump.
     -IL likeclause     : Like clause to generate databases list (example: 'db%').
     -EL likeclause     : Like clause to exclude databases (example: 'nodb%').
     -HI Nb_Generations : Number of generations to keep (by default 2).
     -WCD  whereclause  : Where clause to generate databases list.
     -AGR  Nb sec       : Nb of seconds between two runs (by default 1s).
     -AGE  Nb sec       : Nb of seconds between two checks of end (by default 1s).
     -ZIP extension     : Compressor extension gz,bz2,Z,none (default: gz).
     -FRT  return_code  : Force return code value on error.
     -AddMail email     : Email address to add at 'xxx'.
     -SendReport        : Send execution log report.
     -Dist              : For distant connection to database (change $gvsqw_ConnectString to $gvsqw_DistConnectString ).
     -ForceDump         : Force the DUMP even if the cluster is in recovery mode (par defaut, 'Disable').
     -NoForceDump       : don't exec DUMP if the cluster is in recovery mode (par defaut, 'Disable').
     -NoMail            : Deactivate sendmail on error xxx (by default, send on error).
     -Locale   locale   : Force Locale for help display (fr,en).
     -Exec              : Execute commands (default, display generated commands)

Enjoy !

Récupérée de « https://wikifr.dbsqware.com/index.php?title=Général:FAQ_NouvelleInstancePostgreSQL&oldid=19193 »