SQWareProduction:sybase

Presentation

Utilisation

C'est le module d'exploitation local de sybase.
Il est entierement ecrit en ksh et sql.
Il permet les operations d'exploitation pour sybase.
Exemples d'utilisations de l'outil:

• Backup
• Recovery
• Compute statistics
• Indicators collection to store in referential database SQWareRepository
• Rotate logs
• ....

This module is deployed locally on the machine hosting the authorities to manage, in order to avoid any points of weakness related to an NFS mount or whatever. The deployment is done through a simple command SQWareCentral module using inventory located in SQWareRepository !
Guide d'installation de SQWareProduction pour sybase

Explication des repertoires

Repertoires se trouvant dans $gvsqw_SybBin:

• bin : Repertoires contenant standard scripts
• bin_cust : Repertoires contenant customs scripts for your environnement
• etc : Repertoires contenant the standard files of configuration
• etc_cust : Repertoires contenant the customs files of configuration for your environnement (overload standards)
• help : Repertoires contenant the standard files of help
• help_cust : Repertoires contenant the customs files of help for your environnement
• lib : Repertoires contenant the generic shell function librairies
• lib_cust : Repertoires contenant the generic shell function librairies (overload standards)
• spm : Contain sql query toolkit
• tools : Repertoires contenant the standard scripts used on an ad hoc
• tools_cust : Repertoires contenant the customs scripts used on an ad hoc for your environnement
• menu : Repertoires contenant the standard menus
• menu_cust : Repertoires contenant the custom menus for your environnement

Convention de nommage de fichiers

La majorite des fichiers sont nommes avec suffixes:

• *.ksh : pour les scripts
• *.cfg : pour les fichiers de configuration
• *.lib : pour les librairies de fonctions
• *.hlp : pour les fichiers d'aide

Convention de nommage dans les scripts

En général, la convention de nommage suivante est utilisée dans tous les scripts de SQWareProduction:

• gvsqw_ {}: variable globale initialisée par l'environnement et/ou la lib générique
• lvsqw_ {}: variable locale initialisée par le script et/ou une lib spécifique
• gfsqw_ {}: fonction définie par une lib générique
• lfsqw_ {}: fonction définie par le script et/ou une lib spécifique

bin

sqwsyb_CheckstorageAllDatabases.ksh

Script $gvsqw_SybBin/bin/sqwsyb_CheckstorageAllDatabases.ksh:

Execution de sqwsyb_CheckstorageDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwsyb_CheckstorageAllDatabases.ksh

sqwsyb_CheckstorageDatabase.ksh

Script $gvsqw_SybBin/bin/sqwsyb_CheckstorageDatabase.ksh:

Execute la commande checkstorage sur la database Voir l'aide detaillee pour sqwsyb_CheckstorageDatabase.ksh

sqwsyb_CopyDumpAllDatabases.ksh

Script $gvsqw_SybBin/bin/sqwsyb_CopyDumpAllDatabases.ksh:

copie des dumps de toutes les databases en parallele Voir l'aide detaillee pour sqwsyb_CopyDumpAllDatabases.ksh

sqwsyb_CopyDumpDatabase.ksh

Script $gvsqw_SybBin/bin/sqwsyb_CopyDumpDatabase.ksh:

Copie le fichier dump par rsync entre deux dataservers
Vous pouvez choisir different options:

• differents users unix entre deux dataservers
• le degre de parallelisme de la copie
• le fichier a copier (dernier fichier dump par defaut)
• different repertoire (par defaut cherche dans le r�pertoire standard)

Le script peut aussi:

• Execute script shell avant Load
• Execute script shell apres Load

Voir l'aide detaillee pour sqwsyb_CopyDumpDatabase.ksh

sqwsyb_DbccAllDatabases.ksh

Script $gvsqw_SybBin/bin/sqwsyb_DbccAllDatabases.ksh:

Execution de sqwsyb_DbccDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwsyb_DbccAllDatabases.ksh

sqwsyb_DbccDatabase.ksh

Script $gvsqw_SybBin/bin/sqwsyb_DbccDatabase.ksh:

Execute un dbcc sur la database Voir l'aide detaillee pour sqwsyb_DbccDatabase.ksh

sqwsyb_DumpAllDatabases.ksh

Script $gvsqw_SybBin/bin/sqwsyb_DumpAllDatabases.ksh:

Execution de sqwsyb_DumpDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwsyb_DumpAllDatabases.ksh

sqwsyb_DumpDatabase.ksh

Script $gvsqw_SybBin/bin/sqwsyb_DumpDatabase.ksh:

Genere un dump database
Vous pouvez choisir type de dump (par defaut full):

• full -> Dump full
• inc -> Dump tran
• stb -> Dump tran for standby
• fstb -> Dump full plus dump tran for standby

Le script determine automatiquement le nombre de stripes
Realise le backup de master..syslogins (permet la synchronisation au chargement)
Realise la purge des generations de dump
Vous pouvez changer les valeurs par defaut:

• compression level
• force le nombre de stripes
• taille max d'un stripe
• nombre de generations de dumps a garder

Voir l'aide detaillee pour sqwsyb_DumpDatabase.ksh

sqwsyb_ExecSQL.ksh

Script $gvsqw_SybBin/bin/sqwsyb_ExecSQL.ksh:

execute un fichier SQL sur l'instance Voir l'aide detaillee pour sqwsyb_ExecSQL.ksh

sqwsyb_GatherDistantFsSize.ksh

Script $gvsqw_SybBin/bin/sqwsyb_GatherDistantFsSize.ksh:

Collecte FS size Voir l'aide detaillee pour sqwsyb_GatherDistantFsSize.ksh

sqwsyb_GatherIndicators.ksh

Script $gvsqw_SybBin/bin/sqwsyb_GatherIndicators.ksh:

Collecte les indicateurs Sybase et les met dans SQWareRepository
Resume de collecte:

• Volumetrie (use, free) du dataserver
• Volumetrie (use, free) des databases
• Volumetrie des tables
• Volumetrie (use, free) des FS
• Version, options, configuration, ... du dataserver

Voir l'aide detaillee pour sqwsyb_GatherIndicators.ksh

sqwsyb_KillSessions.ksh

Script $gvsqw_SybBin/bin/sqwsyb_KillSessions.ksh:

Genere le kill des connexions sybase
Vous pouvez inclure ou exclure des databases par listes
par defaut kill de toutes les sessions
vous pouvez aussi choisir le nombre de tentatives de kill session Voir l'aide detaillee pour sqwsyb_KillSessions.ksh

sqwsyb_LoadAllDatabases.ksh

Script $gvsqw_SybBin/bin/sqwsyb_LoadAllDatabases.ksh:

load de toutes les databases en parallele Voir l'aide detaillee pour sqwsyb_LoadAllDatabases.ksh

sqwsyb_LoadDatabase.ksh

Script $gvsqw_SybBin/bin/sqwsyb_LoadDatabase.ksh:

Chargement standard de database
le script trouve dynamiquement les fichiers a charger
Vous pouvez choisir le type de load (par defaut full):

• full -> Charge dump full
• inc -> Charge dump tran
• stb -> Charge dump tran for standby
• fstb -> Charge full dump plus dump tran for standby

Vous pouvez choisir de mettre online la database ou pas (par defaut on):

• on -> online
• off -> not online
• ostb -> online for standby access

Le script peut aussi:

• killer les sessions connectes sur la database a charger
• fait la synchronisation de syslogins/sysusers
• Execute script shell avant chargement
• Execute script shell apres chargement

Voir l'aide detaillee pour sqwsyb_LoadDatabase.ksh

sqwsyb_NetBackup.ksh

Script $gvsqw_SybBin/bin/sqwsyb_NetBackup.ksh:

backup avec NetBackup des fichiers dump/backup Voir l'aide detaillee pour sqwsyb_NetBackup.ksh

sqwsyb_ParallelRun.ksh

Script $gvsqw_SybBin/bin/sqwsyb_ParallelRun.ksh:

Gere l'execution de commandes unix en parallele
Prend en parametre un fichier avec les commandes a executer
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Voir l'aide detaillee pour sqwsyb_ParallelRun.ksh

sqwsyb_RebuildAllDatabases.ksh

Script $gvsqw_SybBin/bin/sqwsyb_RebuildAllDatabases.ksh:

Execution de sqwsyb_RebuildDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwsyb_RebuildAllDatabases.ksh

sqwsyb_RebuildDatabase.ksh

Script $gvsqw_SybBin/bin/sqwsyb_RebuildDatabase.ksh:

Rebuild index ou table qui necessitent reorganisation
base sur la commande optdiag pour recuperer le cluster ratio des tables et indexes
Vous pouvez choisir:

• Taille min des table a regarder
• Min cluster ratio pour table avant rebuild
• Min cluster ratio pour index avant rebuild

Voir l'aide detaillee pour sqwsyb_RebuildDatabase.ksh

sqwsyb_RsyncBackup.ksh

Script $gvsqw_SybBin/bin/sqwsyb_RsyncBackup.ksh:

rsync dir (sans delete) vers un autre host Voir l'aide detaillee pour sqwsyb_RsyncBackup.ksh

sqwsyb_RunJob.ksh

Script $gvsqw_SybBin/bin/sqwsyb_RunJob.ksh:

Execute les scripts pour Sybase et genere les fichiers log et erreur
base sur le fichier de configuration $gvsqw_RootCfg/sqwsyb_Jobs.cfg
compresse et purge les logs les plus anciennes Voir l'aide detaillee pour sqwsyb_RunJob.ksh

sqwsyb_StatisticsAllDatabases.ksh

Script $gvsqw_SybBin/bin/sqwsyb_StatisticsAllDatabases.ksh:

Execution de sqwsyb_StatisticsDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwsyb_StatisticsAllDatabases.ksh

sqwsyb_StatisticsDatabase.ksh

Script $gvsqw_SybBin/bin/sqwsyb_StatisticsDatabase.ksh:

update statistics
utilise la commande 'update statistics $Owner.$Table'
calcule les statisques uniquement sur la premier colonne des indexes Voir l'aide detaillee pour sqwsyb_StatisticsDatabase.ksh

sqwsyb_UpdtStatsAllDatabases.ksh

Script $gvsqw_SybBin/bin/sqwsyb_UpdtStatsAllDatabases.ksh:

Execution de sqwsyb_UpdtStatsDatabase.ksh en mode parallele
Vous pouvez choisir:
*NoHashing

• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwsyb_UpdtStatsAllDatabases.ksh

sqwsyb_UpdtStatsDatabase.ksh

Script $gvsqw_SybBin/bin/sqwsyb_UpdtStatsDatabase.ksh:

update index statistics
utilise la commande 'update index Statistics $lvsqw_Owner.$lvsqw_Table'
calcule les statisques sur toutes les colonnes indexees
vous pouvez aussi forcer le delete avec 'delete Statistics $lvsqw_Owner.$lvsqw_Table'
calcule dynamiquement le sample pour mettre l'option 'with sampling=$lvsqw_SamplePct percent' Voir l'aide detaillee pour sqwsyb_UpdtStatsDatabase.ksh

sqwsyb_UpdtStatsRebuildWithFlag.ksh

Script $gvsqw_SybBin/bin/sqwsyb_UpdtStatsRebuildWithFlag.ksh:

Flag + UpdtStats + Rebuild Voir l'aide detaillee pour sqwsyb_UpdtStatsRebuildWithFlag.ksh

etc

sqwsyb_CreDs_AseRs_157.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_CreDs_AseRs_157.cfg:


Voir l'aide detaillee pour sqwsyb_CreDs_AseRs_157.cfg

sqwsyb_CreDs_AseRs_160.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_CreDs_AseRs_160.cfg:


Voir l'aide detaillee pour sqwsyb_CreDs_AseRs_160.cfg

sqwsyb_CreDs_AseRs.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_CreDs_AseRs.cfg:


Voir l'aide detaillee pour sqwsyb_CreDs_AseRs.cfg

sqwsyb_CreDs_BsRs_157.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_CreDs_BsRs_157.cfg:


Voir l'aide detaillee pour sqwsyb_CreDs_BsRs_157.cfg

sqwsyb_CreDs_BsRs_160.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_CreDs_BsRs_160.cfg:


Voir l'aide detaillee pour sqwsyb_CreDs_BsRs_160.cfg

sqwsyb_CreDs_BsRs.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_CreDs_BsRs.cfg:


Voir l'aide detaillee pour sqwsyb_CreDs_BsRs.cfg

sqwsyb_CreDs_CrontabRef.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_CreDs_CrontabRef.cfg:


Voir l'aide detaillee pour sqwsyb_CreDs_CrontabRef.cfg

sqwsyb_CreDs_Jobs.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_CreDs_Jobs.cfg:


Voir l'aide detaillee pour sqwsyb_CreDs_Jobs.cfg

sqwsyb_GlobalVar.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_GlobalVar.cfg:
Global var for Sybase
Contient les variables operationnelles de SQWareProduction.

Voir l'aide detaillee pour sqwsyb_GlobalVar.cfg

sqwsyb_Template.cfg

Fichier de configuration $gvsqw_SybBin/../etc/sqwsyb_Template.cfg:
Template for overLoad default paramaters of 'All' scripts

Voir l'aide detaillee pour sqwsyb_Template.cfg

.profile

Exemple de .profile $gvsqw_SybBin/../etc/.profile:
Exemple de lignes a ajouter au .profile pour les users sybase.
Voir l'aide detaillee pour .profile

.profile_confort

Fichier pour mettre les aliases $gvsqw_SybBin/../etc/.profile_confort:
Contenu des aliases de confort de SQWareProduction pour sybase.
Modèle:SQWareProductionSurchargeConfort
Voir l'aide detaillee pour .profile_confort

lib

sqwsyb_CopyDumpDatabase.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_CopyDumpDatabase.lib:
lib for sqwsyb_CopyDumpDatabase.ksh

Voir l'aide detaillee pour sqwsyb_CopyDumpDatabase.lib

sqwsyb_DumpAllDatabases.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_DumpAllDatabases.lib:
lib for sqwsyb_DumpAllDatabases.ksh

Voir l'aide detaillee pour sqwsyb_DumpAllDatabases.lib

sqwsyb_DumpDatabase.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_DumpDatabase.lib:
lib for sqwsyb_DumpDatabase.ksh

Voir l'aide detaillee pour sqwsyb_DumpDatabase.lib

sqwsyb_ExecSQL.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_ExecSQL.lib:
lib for sqwsyb_ExecSQL.ksh

Voir l'aide detaillee pour sqwsyb_ExecSQL.lib

sqwsyb_GatherDistantFsSize.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_GatherDistantFsSize.lib:
lib for sqwsyb_GatherFsSize.ksh

Voir l'aide detaillee pour sqwsyb_GatherDistantFsSize.lib

sqwsyb_GatherIndicators.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_GatherIndicators.lib:
lib for sqwsyb_GatherIndicators.ksh

Voir l'aide detaillee pour sqwsyb_GatherIndicators.lib

sqwsyb_GatherIndicators_Overload.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_GatherIndicators_Overload.lib:
lib for overLoad sqwsyb_GatherIndicators.ksh

Voir l'aide detaillee pour sqwsyb_GatherIndicators_Overload.lib

sqwsyb_GenerateCreateInstance.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_GenerateCreateInstance.lib:
lib for generate create dataserver

Voir l'aide detaillee pour sqwsyb_GenerateCreateInstance.lib

sqwsyb_Global.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_Global.lib:
central lib of generic fonctions for sybase

Voir l'aide detaillee pour sqwsyb_Global.lib

sqwsyb_LoadAllDatabases.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_LoadAllDatabases.lib:
lib for sqwsyb_LoadAllDatabases.ksh

Voir l'aide detaillee pour sqwsyb_LoadAllDatabases.lib

sqwsyb_LoadDatabase.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_LoadDatabase.lib:
lib for sqwsyb_LoadDatabase.ksh

Voir l'aide detaillee pour sqwsyb_LoadDatabase.lib

sqwsyb_NetBackup.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_NetBackup.lib:
lib for sqwgen_NetBackup.ksh

Voir l'aide detaillee pour sqwsyb_NetBackup.lib

sqwsyb_RebuildDatabase.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_RebuildDatabase.lib:
lib for sqwsyb_RebuildDatabase.ksh

Voir l'aide detaillee pour sqwsyb_RebuildDatabase.lib

sqwsyb_RsyncBackup.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_RsyncBackup.lib:
lib for sqwgen_RsyncBackup.ksh.ksh

Voir l'aide detaillee pour sqwsyb_RsyncBackup.lib

sqwsyb_SetEnv.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_SetEnv.lib:
fonction to set env for $DSQUERY

Voir l'aide detaillee pour sqwsyb_SetEnv.lib

sqwsyb_StatisticsDatabase.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_StatisticsDatabase.lib:
lib for sqwsyb_StatisticsDatabase.ksh

Voir l'aide detaillee pour sqwsyb_StatisticsDatabase.lib

sqwsyb_UpdtStatsDatabase.lib

librairies de fonctions shell $gvsqw_SybBin/../lib/sqwsyb_UpdtStatsDatabase.lib:
lib for sqwsyb_UpdtStatsDatabase.ksh

Voir l'aide detaillee pour sqwsyb_UpdtStatsDatabase.lib

tools

sqwsyb_GenerateCreateInstance.ksh

Script $gvsqw_SybBin/../tools/sqwsyb_GenerateCreateInstance.ksh:
Generate create dataserver files Voir l'aide detaillee pour sqwsyb_GenerateCreateInstance.ksh

sqwsyb_GetSaPass.ksh

Script $gvsqw_SybBin/../tools/sqwsyb_GetSaPass.ksh:
set env for $DSQUERY
Modèle:SQWareProductionSurchargeToo Voir l'aide detaillee pour sqwsyb_GetSaPass.ksh

sqwsyb_SetEnv.ksh

Script $gvsqw_SybBin/../tools/sqwsyb_SetEnv.ksh:
set env for $DSQUERY
Modèle:SQWareProductionSurchargeToo Voir l'aide detaillee pour sqwsyb_SetEnv.ksh

sqwsyb_Spm.ksh

Script $gvsqw_SybBin/../tools/sqwsyb_Spm.ksh:
request for sybase Voir l'aide detaillee pour sqwsyb_Spm.ksh

sqwsyb_Sybis.ksh

Script $gvsqw_SybBin/../tools/sqwsyb_Sybis.ksh:
set env for $DSQUERY Voir l'aide detaillee pour sqwsyb_Sybis.ksh

sqwsyb_TestMySQL.ksh

Script $gvsqw_SybBin/../tools/sqwsyb_TestMySQL.ksh:
Generic test MySQL connection script Voir l'aide detaillee pour sqwsyb_TestMySQL.ksh

sqwsyb_TestSendmail.ksh

Script $gvsqw_SybBin/../tools/sqwsyb_TestSendmail.ksh:
Generic test sendmail script Voir l'aide detaillee pour sqwsyb_TestSendmail.ksh

help

Contenu des fichiers d'aide pour l'option "-s" des scripts bin.

spm

Outil de requetes SQL
Voir l'aide detaillee pour spm