SQWareProduction:postgres

Presentation

Utilisation

C'est le module d'exploitation local de postgres.
Il est entierement ecrit en ksh et sql.
Il permet les operations d'exploitation pour postgres.
Exemples d'utilisations de l'outil:

• Backup
• Recovery
• Compute statistics
• Indicators collection to store in referential database SQWareRepository
• Rotate logs
• ....

This module is deployed locally on the machine hosting the authorities to manage, in order to avoid any points of weakness related to an NFS mount or whatever. The deployment is done through a simple command SQWareCentral module using inventory located in SQWareRepository !
Guide d'installation de SQWareProduction pour postgres

Explication des repertoires

Repertoires se trouvant dans $gvsqw_PgBin:

• bin : Repertoires contenant standard scripts
• bin_cust : Repertoires contenant customs scripts for your environnement
• etc : Repertoires contenant the standard files of configuration
• etc_cust : Repertoires contenant the customs files of configuration for your environnement (overload standards)
• help : Repertoires contenant the standard files of help
• help_cust : Repertoires contenant the customs files of help for your environnement
• lib : Repertoires contenant the generic shell function librairies
• lib_cust : Repertoires contenant the generic shell function librairies (overload standards)
• spm : Contain sql query toolkit
• tools : Repertoires contenant the standard scripts used on an ad hoc
• tools_cust : Repertoires contenant the customs scripts used on an ad hoc for your environnement
• menu : Repertoires contenant the standard menus
• menu_cust : Repertoires contenant the custom menus for your environnement

Convention de nommage de fichiers

La majorite des fichiers sont nommes avec suffixes:

• *.ksh : pour les scripts
• *.cfg : pour les fichiers de configuration
• *.lib : pour les librairies de fonctions
• *.hlp : pour les fichiers d'aide

Convention de nommage dans les scripts

En général, la convention de nommage suivante est utilisée dans tous les scripts de SQWareProduction:

• gvsqw_ {}: variable globale initialisée par l'environnement et/ou la lib générique
• lvsqw_ {}: variable locale initialisée par le script et/ou une lib spécifique
• gfsqw_ {}: fonction définie par une lib générique
• lfsqw_ {}: fonction définie par le script et/ou une lib spécifique

bin

sqwArchmon

Script $gvsqw_PgBin/bin/sqwArchmon:

Voir l'aide detaillee pour sqwArchmon

sqwpg_AnalyzeAllDatabases.ksh

Script $gvsqw_PgBin/bin/sqwpg_AnalyzeAllDatabases.ksh:

Execution de sqwpg_AnalyzeDatabase.ksh en mode parallele sur toutes les databases
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwpg_AnalyzeAllDatabases.ksh

sqwpg_AnalyzeDatabase.ksh

Script $gvsqw_PgBin/bin/sqwpg_AnalyzeDatabase.ksh:

Update statistics de toutes les tables de la database
Commande utilisee: analyse local table <TableName> Voir l'aide detaillee pour sqwpg_AnalyzeDatabase.ksh

sqwpg_ArchiveXlog.ksh

Script $gvsqw_PgBin/bin/sqwpg_ArchiveXlog.ksh:

archivage des xlog/wal Voir l'aide detaillee pour sqwpg_ArchiveXlog.ksh

sqwpg_BackupArchiveXlog.ksh

Script $gvsqw_PgBin/bin/sqwpg_BackupArchiveXlog.ksh:

Backup de toutes les archivelogs (souvent lance par le demon sqwarchmon) Voir l'aide detaillee pour sqwpg_BackupArchiveXlog.ksh

sqwpg_BackupPitr.ksh

Script $gvsqw_PgBin/bin/sqwpg_BackupPitr.ksh:

backup PITR du cluster PG Voir l'aide detaillee pour sqwpg_BackupPitr.ksh

sqwpg_DumpAllDatabases.ksh

Script $gvsqw_PgBin/bin/sqwpg_DumpAllDatabases.ksh:

Execution de sqwpg_DumpDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwpg_DumpAllDatabases.ksh

sqwpg_DumpDatabase.ksh

Script $gvsqw_PgBin/bin/sqwpg_DumpDatabase.ksh:

Generate pg_dump de la database
Le script purge les anciennes generations automatiquement
Vous pouvez aussi choisir:

• une politique de backup differente
• ajouter une option a la commande pg_dump
• choisir un compresseur

Voir l'aide detaillee pour sqwpg_DumpDatabase.ksh

sqwpg_DumpGlobalsOnly.ksh

Script $gvsqw_PgBin/bin/sqwpg_DumpGlobalsOnly.ksh:

Generate pg_dumpall -g (--globals-only) compresse par pipe
Le script purge automatiquement les anciennes generations
Vous pouvez aussi choisir:

• une politique de backup differente
• ajouter une option a la commande pg_dumpall
• choisir un compresseur

Voir l'aide detaillee pour sqwpg_DumpGlobalsOnly.ksh

sqwpg_ExecSQL.ksh

Script $gvsqw_PgBin/bin/sqwpg_ExecSQL.ksh:

execute un fichier SQL sur l'instance Voir l'aide detaillee pour sqwpg_ExecSQL.ksh

sqwpg_GatherIndicators.ksh

Script $gvsqw_PgBin/bin/sqwpg_GatherIndicators.ksh:

Collecte PostgreSQL les indicateurs et les met dans SQWareRepository
Resume de collecte:

• Volumetrie de l'instance
• Volumetrie des databases
• Volumetrie des tablespaces
• Volumetrie des tables
• Volumetrie (use, free) des FS
• Version, options, configuration, ... de l'instance

Voir l'aide detaillee pour sqwpg_GatherIndicators.ksh

sqwpg_GatherStructure.ksh

Script $gvsqw_PgBin/bin/sqwpg_GatherStructure.ksh:

Collecte des structures PostgreSQL et les met dans SQWareRepository
Resume de collecte:

• Tables liste et options
• Columns liste, types et options
• Indexes liste, types et options

Voir l'aide detaillee pour sqwpg_GatherStructure.ksh

sqwpg_NetBackup.ksh

Script $gvsqw_PgBin/bin/sqwpg_NetBackup.ksh:

backup avec NetBackup des fichiers dump/backup Voir l'aide detaillee pour sqwpg_NetBackup.ksh

sqwpg_ParallelRun.ksh

Script $gvsqw_PgBin/bin/sqwpg_ParallelRun.ksh:

Gere l'execution de commandes unix en parallele
Prend en parametre un fichier avec les commandes a executer
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Voir l'aide detaillee pour sqwpg_ParallelRun.ksh

sqwpg_ReindexAllDatabases.ksh

Script $gvsqw_PgBin/bin/sqwpg_ReindexAllDatabases.ksh:

Execution de sqwpg_ReindexDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwpg_ReindexAllDatabases.ksh

sqwpg_ReindexDatabase.ksh

Script $gvsqw_PgBin/bin/sqwpg_ReindexDatabase.ksh:

Reorganize de toutes les tables de la database
Commande utilisee: optimize local table <TableName> Voir l'aide detaillee pour sqwpg_ReindexDatabase.ksh

sqwpg_RsyncBackup.ksh

Script $gvsqw_PgBin/bin/sqwpg_RsyncBackup.ksh:

rsync dir (sans delete) vers un autre host Voir l'aide detaillee pour sqwpg_RsyncBackup.ksh

sqwpg_RunJob.ksh

Script $gvsqw_PgBin/bin/sqwpg_RunJob.ksh:

Execute les scripts pour PostgreSQL et genere les fichiers log et erreur
base sur le fichier de configuration $gvsqw_RootCfg/sqwpg_Jobs.cfg
compresse et purge les logs les plus anciennes Voir l'aide detaillee pour sqwpg_RunJob.ksh

sqwpg_SqwArchmon.ksh

Script $gvsqw_PgBin/bin/sqwpg_SqwArchmon.ksh:

Voir l'aide detaillee pour sqwpg_SqwArchmon.ksh

sqwpg_VacuumAllDatabases.ksh

Script $gvsqw_PgBin/bin/sqwpg_VacuumAllDatabases.ksh:

Execution de sqwpg_VacuumDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwpg_VacuumAllDatabases.ksh

sqwpg_VacuumDatabase.ksh

Script $gvsqw_PgBin/bin/sqwpg_VacuumDatabase.ksh:

VACUUM de toutes les tables de la database
Commande utilisee: VACUUM Voir l'aide detaillee pour sqwpg_VacuumDatabase.ksh

etc

sqwpg_CreInst_CrontabRef.cfg

Fichier de configuration $gvsqw_PgBin/../etc/sqwpg_CreInst_CrontabRef.cfg:


Voir l'aide detaillee pour sqwpg_CreInst_CrontabRef.cfg

sqwpg_CreInst_Jobs.cfg

Fichier de configuration $gvsqw_PgBin/../etc/sqwpg_CreInst_Jobs.cfg:


Voir l'aide detaillee pour sqwpg_CreInst_Jobs.cfg

sqwpg_GlobalVar.cfg

Fichier de configuration $gvsqw_PgBin/../etc/sqwpg_GlobalVar.cfg:
Global var for Postgres
Contient les variables operationnelles de SQWareProduction.

Voir l'aide detaillee pour sqwpg_GlobalVar.cfg

.profile

Exemple de .profile $gvsqw_PgBin/../etc/.profile:
Exemple de lignes a ajouter au .profile pour les users postgres.
Voir l'aide detaillee pour .profile

.profile_confort

Fichier pour mettre les aliases $gvsqw_PgBin/../etc/.profile_confort:
Contenu des aliases de confort de SQWareProduction pour postgres.
Modèle:SQWareProductionSurchargeConfort
Voir l'aide detaillee pour .profile_confort

lib

sqwpg_ArchiveXlog.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_ArchiveXlog.lib:
lib for sqwpg_ArchiveXlog.ksh

Voir l'aide detaillee pour sqwpg_ArchiveXlog.lib

sqwpg_BackupArchiveXlog.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_BackupArchiveXlog.lib:
lib for sqwpg_BackupArchiveXlog.ksh

Voir l'aide detaillee pour sqwpg_BackupArchiveXlog.lib

sqwpg_BackupPitr.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_BackupPitr.lib:
lib for sqwpg_BackupPitr.ksh

Voir l'aide detaillee pour sqwpg_BackupPitr.lib

sqwpg_DumpAllDatabases.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_DumpAllDatabases.lib:
lib for sqwpg_DumpDatabase.ksh

Voir l'aide detaillee pour sqwpg_DumpAllDatabases.lib

sqwpg_DumpDatabase.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_DumpDatabase.lib:
lib for sqwpg_DumpDatabase.ksh

Voir l'aide detaillee pour sqwpg_DumpDatabase.lib

sqwpg_DumpGlobalsOnly.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_DumpGlobalsOnly.lib:
lib for sqwpg_DumpGlobalsOnly.ksh

Voir l'aide detaillee pour sqwpg_DumpGlobalsOnly.lib

sqwpg_ExecSQL.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_ExecSQL.lib:
lib for sqwpg_ExecSQL.ksh

Voir l'aide detaillee pour sqwpg_ExecSQL.lib

sqwpg_GatherIndicators.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_GatherIndicators.lib:
lib for sqwpg_GatherIndicators.ksh

Voir l'aide detaillee pour sqwpg_GatherIndicators.lib

sqwpg_GatherIndicators_Overload.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_GatherIndicators_Overload.lib:
lib for overLoad sqwpg_GatherIndicators.ksh

Voir l'aide detaillee pour sqwpg_GatherIndicators_Overload.lib

sqwpg_GatherStructure.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_GatherStructure.lib:
lib for sqwpg_GatherStructure.ksh

Voir l'aide detaillee pour sqwpg_GatherStructure.lib

sqwpg_GenerateCreateInstance.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_GenerateCreateInstance.lib:
lib for generate create instance

Voir l'aide detaillee pour sqwpg_GenerateCreateInstance.lib

sqwpg_Global.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_Global.lib:
central lib of generic fonctions for postgres

Voir l'aide detaillee pour sqwpg_Global.lib

sqwpg_NetBackup.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_NetBackup.lib:
lib for sqwgen_NetBackup.ksh

Voir l'aide detaillee pour sqwpg_NetBackup.lib

sqwpg_RsyncBackup.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_RsyncBackup.lib:
lib for sqwgen_RsyncBackup.ksh.ksh

Voir l'aide detaillee pour sqwpg_RsyncBackup.lib

sqwpg_SetEnv.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_SetEnv.lib:
fonction to set env for $PG_SID

Voir l'aide detaillee pour sqwpg_SetEnv.lib

tools

sqwpg_Crypt.ksh

Script $gvsqw_PgBin/../tools/sqwpg_Crypt.ksh:
Generic script to crypt file with openssl Voir l'aide detaillee pour sqwpg_Crypt.ksh

sqwpg_GenerateCreateInstance.ksh

Script $gvsqw_PgBin/../tools/sqwpg_GenerateCreateInstance.ksh:
Generate create instance files Voir l'aide detaillee pour sqwpg_GenerateCreateInstance.ksh

sqwpg_ListAsyncFilesGlobal.ksh

Script $gvsqw_PgBin/../tools/sqwpg_ListAsyncFilesGlobal.ksh:
List Async files (sql, log, mail) to upload in SQWareCentral (all in a directory) Voir l'aide detaillee pour sqwpg_ListAsyncFilesGlobal.ksh

sqwpg_ListAsyncFiles.ksh

Script $gvsqw_PgBin/../tools/sqwpg_ListAsyncFiles.ksh:
List Async files (sql, log, mail) to upload in SQWareCentral Voir l'aide detaillee pour sqwpg_ListAsyncFiles.ksh

sqwpg_SetEnv.ksh

Script $gvsqw_PgBin/../tools/sqwpg_SetEnv.ksh:
set env for $PG_SID
Modèle:SQWareProductionSurchargeToo Voir l'aide detaillee pour sqwpg_SetEnv.ksh

sqwpg_TestMySQL.ksh

Script $gvsqw_PgBin/../tools/sqwpg_TestMySQL.ksh:
Generic test MySQL connection script Voir l'aide detaillee pour sqwpg_TestMySQL.ksh

sqwpg_TestSendmail.ksh

Script $gvsqw_PgBin/../tools/sqwpg_TestSendmail.ksh:
Generic test sendmail script Voir l'aide detaillee pour sqwpg_TestSendmail.ksh

sqwpg_Uncrypt.ksh

Script $gvsqw_PgBin/../tools/sqwpg_Uncrypt.ksh:
Generic script to uncrypt file with openssl Voir l'aide detaillee pour sqwpg_Uncrypt.ksh

help

Contenu des fichiers d'aide pour l'option "-s" des scripts bin.

spm

Outil de requetes SQL
Voir l'aide detaillee pour spm