SQWareProduction:postgres

De WikiFr

Presentation

Utilisation

C'est le module d'exploitation local de postgres.
Il est entierement ecrit en ksh et sql.
Il permet les operations d'exploitation pour postgres.
Exemples d'utilisations de l'outil:

  • Backup
  • Recovery
  • Compute statistics
  • Indicators collection to store in referential database SQWareRepository
  • Rotate logs
  • ....

This module is deployed locally on the machine hosting the authorities to manage, in order to avoid any points of weakness related to an NFS mount or whatever. The deployment is done through a simple command SQWareCentral module using inventory located in SQWareRepository !
Guide d'installation de SQWareProduction pour postgres

Explication des repertoires

Repertoires se trouvant dans $gvsqw_PgBin:

  • bin : Repertoires contenant standard scripts
  • bin_cust : Repertoires contenant customs scripts for your environnement
  • etc : Repertoires contenant the standard files of configuration
  • etc_cust : Repertoires contenant the customs files of configuration for your environnement (overload standards)
  • help : Repertoires contenant the standard files of help
  • help_cust : Repertoires contenant the customs files of help for your environnement
  • lib : Repertoires contenant the generic shell function librairies
  • lib_cust : Repertoires contenant the generic shell function librairies (overload standards)
  • spm : Contain sql query toolkit
  • tools : Repertoires contenant the standard scripts used on an ad hoc
  • tools_cust : Repertoires contenant the customs scripts used on an ad hoc for your environnement
  • menu : Repertoires contenant the standard menus
  • menu_cust : Repertoires contenant the custom menus for your environnement

Modèle:Warning custom

Convention de nommage de fichiers

La majorite des fichiers sont nommes avec suffixes:

  • *.ksh : pour les scripts
  • *.cfg : pour les fichiers de configuration
  • *.lib : pour les librairies de fonctions
  • *.hlp : pour les fichiers d'aide

Modèle:Warning custom

Convention de nommage dans les scripts

Modèle:ExpNomVars

bin

sqwArchmon

Script $gvsqw_PgBin/bin/sqwArchmon:

Voir l'aide detaillee pour sqwArchmon

sqwpg_AnalyzeAllDatabases.ksh

Script $gvsqw_PgBin/bin/sqwpg_AnalyzeAllDatabases.ksh:

Execution de sqwpg_AnalyzeDatabase.ksh en mode //
Vous pouvez choisir:

  • Le degre de parallelisme
  • Aggressivite de lancement (nombre de secondes entre deux lancements)
  • Aggressivite de check de fin (nombre de secondes entre deux check de fin)


Filtres de generation de la liste des databases (vous pouvez tous les mixer):

  • Liste d'inclusion de database
  • Liste d'exclusion de database
  • Clause d'inclusion de type like
  • Clause d'exclusion de type like
  • Clause where

Voir l'aide detaillee pour sqwpg_AnalyzeAllDatabases.ksh

sqwpg_AnalyzeDatabase.ksh

Script $gvsqw_PgBin/bin/sqwpg_AnalyzeDatabase.ksh:

Update statistics de toutes les tables de la database
Commande utilisee: analyse local table <TableName> Voir l'aide detaillee pour sqwpg_AnalyzeDatabase.ksh

sqwpg_ArchiveXlog.ksh

Script $gvsqw_PgBin/bin/sqwpg_ArchiveXlog.ksh:

Voir l'aide detaillee pour sqwpg_ArchiveXlog.ksh

sqwpg_BackupArchiveXlog.ksh

Script $gvsqw_PgBin/bin/sqwpg_BackupArchiveXlog.ksh:

Voir l'aide detaillee pour sqwpg_BackupArchiveXlog.ksh

sqwpg_BackupPitr.ksh

Script $gvsqw_PgBin/bin/sqwpg_BackupPitr.ksh:

Voir l'aide detaillee pour sqwpg_BackupPitr.ksh

sqwpg_DumpAllDatabases.ksh

Script $gvsqw_PgBin/bin/sqwpg_DumpAllDatabases.ksh:

Execution de sqwpg_DumpDatabase.ksh en mode //
Vous pouvez choisir:

  • Le degre de parallelisme
  • Aggressivite de lancement (nombre de secondes entre deux lancements)
  • Aggressivite de check de fin (nombre de secondes entre deux check de fin)


Filtres de generation de la liste des databases (vous pouvez tous les mixer):

  • Liste d'inclusion de database
  • Liste d'exclusion de database
  • Clause d'inclusion de type like
  • Clause d'exclusion de type like
  • Clause where

Voir l'aide detaillee pour sqwpg_DumpAllDatabases.ksh

sqwpg_DumpDatabase.ksh

Script $gvsqw_PgBin/bin/sqwpg_DumpDatabase.ksh:

Generate pg_Dump of database compressed by pipe
Script makes purge of old generation automatically
You can also choose:

  • different retention policy
  • add option to pg_Dump command
  • choose compressor

Voir l'aide detaillee pour sqwpg_DumpDatabase.ksh

sqwpg_DumpGlobalsOnly.ksh

Script $gvsqw_PgBin/bin/sqwpg_DumpGlobalsOnly.ksh:

Generate pg_Dumpall -g (--globals-only) compressed by pipe
Script makes purge of old generation automatically
You can also choose:

  • different retention policy
  • add option to pg_Dumpall command
  • choose compressor

Voir l'aide detaillee pour sqwpg_DumpGlobalsOnly.ksh

sqwpg_ExecSQL.ksh

Script $gvsqw_PgBin/bin/sqwpg_ExecSQL.ksh:

Voir l'aide detaillee pour sqwpg_ExecSQL.ksh

sqwpg_GatherIndicators.ksh

Script $gvsqw_PgBin/bin/sqwpg_GatherIndicators.ksh:

Gather PostgreSQL indicators and put them in SQWareRepository
Summary of collection:

  • Volumetry of instance
  • Volumetry of databases
  • Volumetry of tablespaces
  • Volumetry of tables
  • Volumetry (use, free) of FS
  • Version, options, configuration, ... of instance

Voir l'aide detaillee pour sqwpg_GatherIndicators.ksh

sqwpg_GatherStructure.ksh

Script $gvsqw_PgBin/bin/sqwpg_GatherStructure.ksh:

Gather PostgreSQL structure and put them in SQWareRepository
Summary of collection:

  • Tables list and options
  • Columns list, types and options

Voir l'aide detaillee pour sqwpg_GatherStructure.ksh

sqwpg_NetBackup.ksh

Script $gvsqw_PgBin/bin/sqwpg_NetBackup.ksh:

Voir l'aide detaillee pour sqwpg_NetBackup.ksh

sqwpg_ParallelRun.ksh

Script $gvsqw_PgBin/bin/sqwpg_ParallelRun.ksh:

Voir l'aide detaillee pour sqwpg_ParallelRun.ksh

sqwpg_ReindexAllDatabases.ksh

Script $gvsqw_PgBin/bin/sqwpg_ReindexAllDatabases.ksh:

Execution de sqwpg_ReindexDatabase.ksh en mode //
Vous pouvez choisir:

  • Le degre de parallelisme
  • Aggressivite de lancement (nombre de secondes entre deux lancements)
  • Aggressivite de check de fin (nombre de secondes entre deux check de fin)


Filtres de generation de la liste des databases (vous pouvez tous les mixer):

  • Liste d'inclusion de database
  • Liste d'exclusion de database
  • Clause d'inclusion de type like
  • Clause d'exclusion de type like
  • Clause where

Voir l'aide detaillee pour sqwpg_ReindexAllDatabases.ksh

sqwpg_ReindexDatabase.ksh

Script $gvsqw_PgBin/bin/sqwpg_ReindexDatabase.ksh:

Reorganize de toutes les tables de la database
Commande utilisee: optimize local table <TableName> Voir l'aide detaillee pour sqwpg_ReindexDatabase.ksh

sqwpg_RsyncBackup.ksh

Script $gvsqw_PgBin/bin/sqwpg_RsyncBackup.ksh:

Voir l'aide detaillee pour sqwpg_RsyncBackup.ksh

sqwpg_RunJob.ksh

Script $gvsqw_PgBin/bin/sqwpg_RunJob.ksh:

Voir l'aide detaillee pour sqwpg_RunJob.ksh

sqwpg_SqwArchmon.ksh

Script $gvsqw_PgBin/bin/sqwpg_SqwArchmon.ksh:

Voir l'aide detaillee pour sqwpg_SqwArchmon.ksh

sqwpg_VacuumAllDatabases.ksh

Script $gvsqw_PgBin/bin/sqwpg_VacuumAllDatabases.ksh:

Execution de sqwpg_VacuumDatabase.ksh en mode //
Vous pouvez choisir:

  • Le degre de parallelisme
  • Aggressivite de lancement (nombre de secondes entre deux lancements)
  • Aggressivite de check de fin (nombre de secondes entre deux check de fin)


Filtres de generation de la liste des databases (vous pouvez tous les mixer):

  • Liste d'inclusion de database
  • Liste d'exclusion de database
  • Clause d'inclusion de type like
  • Clause d'exclusion de type like
  • Clause where

Voir l'aide detaillee pour sqwpg_VacuumAllDatabases.ksh

sqwpg_VacuumDatabase.ksh

Script $gvsqw_PgBin/bin/sqwpg_VacuumDatabase.ksh:

VACUUM de toutes les tables de la database
Commande utilisee: VACUUM Voir l'aide detaillee pour sqwpg_VacuumDatabase.ksh


etc

sqwpg_CreInst_CrontabRef.cfg

Fichier de configuration $gvsqw_PgBin/../etc/sqwpg_CreInst_CrontabRef.cfg:


Voir l'aide detaillee pour sqwpg_CreInst_CrontabRef.cfg

sqwpg_CreInst_Jobs.cfg

Fichier de configuration $gvsqw_PgBin/../etc/sqwpg_CreInst_Jobs.cfg:


Voir l'aide detaillee pour sqwpg_CreInst_Jobs.cfg

sqwpg_GlobalVar.cfg

Fichier de configuration $gvsqw_PgBin/../etc/sqwpg_GlobalVar.cfg:
Global var for Postgres
Contient les variables operationnelles de SQWareProduction.

Information.png
Information:
Vous pouvez surcharger les variables contenues dans $gvsqw_PgBin/../etc/sqwpg_GlobalVar.cfg

en mettant les memes noms de variables dans $gvsqw_PgBin/../etc_cust/sqwpg_GlobalVar.cfg pour tous vos environnements
ou dans $HOME/sqwConfig/sqwpg_GlobalVar.cfg pour cet utilisateur specialement.

Voir l'aide detaillee pour sqwpg_GlobalVar.cfg

.profile

Exemple de .profile $gvsqw_PgBin/../etc/.profile:
Exemple de lignes a ajouter au .profile pour les users postgres.
Voir l'aide detaillee pour .profile

.profile_confort

Fichier pour mettre les aliases $gvsqw_PgBin/../etc/.profile_confort:
Contenu des aliases de confort de SQWareProduction pour postgres.
Modèle:SQWareProductionSurchargeConfort
Voir l'aide detaillee pour .profile_confort


lib

sqwpg_ArchiveXlog.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_ArchiveXlog.lib:
lib for sqwpg_ArchiveXlog.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_ArchiveXlog.lib

sqwpg_BackupArchiveXlog.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_BackupArchiveXlog.lib:
lib for sqwpg_BackupArchiveXlog.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_BackupArchiveXlog.lib

sqwpg_BackupPitr.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_BackupPitr.lib:
lib for sqwpg_BackupPitr.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_BackupPitr.lib

sqwpg_DumpAllDatabases.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_DumpAllDatabases.lib:
lib for sqwpg_DumpDatabase.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_DumpAllDatabases.lib

sqwpg_DumpDatabase.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_DumpDatabase.lib:
lib for sqwpg_DumpDatabase.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_DumpDatabase.lib

sqwpg_DumpGlobalsOnly.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_DumpGlobalsOnly.lib:
lib for sqwpg_DumpGlobalsOnly.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_DumpGlobalsOnly.lib

sqwpg_ExecSQL.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_ExecSQL.lib:
lib for sqwpg_ExecSQL.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_ExecSQL.lib

sqwpg_GatherIndicators.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_GatherIndicators.lib:
lib for sqwpg_GatherIndicators.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_GatherIndicators.lib

sqwpg_GatherIndicators_Overload.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_GatherIndicators_Overload.lib:
lib for overLoad sqwpg_GatherIndicators.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_GatherIndicators_Overload.lib

sqwpg_GatherStructure.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_GatherStructure.lib:
lib for sqwpg_GatherStructure.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_GatherStructure.lib

sqwpg_GenerateCreateInstance.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_GenerateCreateInstance.lib:
lib for generate create instance Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_GenerateCreateInstance.lib

sqwpg_Global.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_Global.lib:
central lib of generic fonctions for postgres Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_Global.lib

sqwpg_NetBackup.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_NetBackup.lib:
lib for sqwgen_NetBackup.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_NetBackup.lib

sqwpg_RsyncBackup.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_RsyncBackup.lib:
lib for sqwgen_RsyncBackup.ksh.ksh Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_RsyncBackup.lib

sqwpg_SetEnv.lib

librairies de fonctions shell $gvsqw_PgBin/../lib/sqwpg_SetEnv.lib:
fonction to set env for $PG_SID Modèle:SQWareProductionSurchargeLib
Voir l'aide detaillee pour sqwpg_SetEnv.lib


menu


tools

sqwpg_GenerateCreateInstance.ksh

Script $gvsqw_PgBin/../tools/sqwpg_GenerateCreateInstance.ksh:
Generate create instance files Voir l'aide detaillee pour sqwpg_GenerateCreateInstance.ksh

sqwpg_SetEnv.ksh

Script $gvsqw_PgBin/../tools/sqwpg_SetEnv.ksh:
set env for $PG_SID
Modèle:SQWareProductionSurchargeToo Voir l'aide detaillee pour sqwpg_SetEnv.ksh

sqwpg_TestMySQL.ksh

Script $gvsqw_PgBin/../tools/sqwpg_TestMySQL.ksh:
Generic test MySQL connection script Voir l'aide detaillee pour sqwpg_TestMySQL.ksh

sqwpg_TestSendmail.ksh

Script $gvsqw_PgBin/../tools/sqwpg_TestSendmail.ksh:
Generic test sendmail script Voir l'aide detaillee pour sqwpg_TestSendmail.ksh


help

Contenu des fichiers d'aide pour l'option "-s" des scripts bin.


spm

Outil de requetes SQL
Voir l'aide detaillee pour spm