SQWareProduction:mssql

Presentation

Utilisation

C'est le module d'exploitation local de mssql.
Il est entierement ecrit en ksh et sql.
Il permet les operations d'exploitation pour mssql.
Exemples d'utilisations de l'outil:

• Backup
• Recovery
• Compute statistics
• Indicators collection to store in referential database SQWareRepository
• Rotate logs
• ....

This module is deployed locally on the machine hosting the authorities to manage, in order to avoid any points of weakness related to an NFS mount or whatever. The deployment is done through a simple command SQWareCentral module using inventory located in SQWareRepository !
Guide d'installation de SQWareProduction pour mssql

Explication des repertoires

Repertoires se trouvant dans $gvsqw_MsqBin:

• bin : Repertoires contenant standard scripts
• bin_cust : Repertoires contenant customs scripts for your environnement
• etc : Repertoires contenant the standard files of configuration
• etc_cust : Repertoires contenant the customs files of configuration for your environnement (overload standards)
• help : Repertoires contenant the standard files of help
• help_cust : Repertoires contenant the customs files of help for your environnement
• lib : Repertoires contenant the generic shell function librairies
• lib_cust : Repertoires contenant the generic shell function librairies (overload standards)
• spm : Contain sql query toolkit
• tools : Repertoires contenant the standard scripts used on an ad hoc
• tools_cust : Repertoires contenant the customs scripts used on an ad hoc for your environnement
• menu : Repertoires contenant the standard menus
• menu_cust : Repertoires contenant the custom menus for your environnement

Convention de nommage de fichiers

La majorite des fichiers sont nommes avec suffixes:

• *.ksh : pour les scripts
• *.cfg : pour les fichiers de configuration
• *.lib : pour les librairies de fonctions
• *.hlp : pour les fichiers d'aide

Convention de nommage dans les scripts

En général, la convention de nommage suivante est utilisée dans tous les scripts de SQWareProduction:

• gvsqw_ {}: variable globale initialisée par l'environnement et/ou la lib générique
• lvsqw_ {}: variable locale initialisée par le script et/ou une lib spécifique
• gfsqw_ {}: fonction définie par une lib générique
• lfsqw_ {}: fonction définie par le script et/ou une lib spécifique

bin

sqwmsq_BackupAllDatabases.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_BackupAllDatabases.ksh:

Execution de sqwmsq_BackupDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwmsq_BackupAllDatabases.ksh

sqwmsq_BackupDatabase.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_BackupDatabase.ksh:

Genere backup database
Vous pouvez choisir le type de backup (par defaut full):

• full
• log
• diff

Le script determine automatiquement le nombre de stripes
Fait la purge des generations de backup
Vous pouvez changer les valeurs par defaut:

• change le Path pour mettre le backup (par defaut: 'HKEY_LOCAL_MACHINE', 'BackupDirectory')
• force le nombre de stripes
• taille max d'un stripe
• nombre de generations de backup a garder

Voir l'aide detaillee pour sqwmsq_BackupDatabase.ksh

sqwmsq_CheckdbAllDatabases.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_CheckdbAllDatabases.ksh:

Execution de sqwmsq_CheckdbDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwmsq_CheckdbAllDatabases.ksh

sqwmsq_CheckdbDatabase.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_CheckdbDatabase.ksh:

Generate checkdb commandes de la database Voir l'aide detaillee pour sqwmsq_CheckdbDatabase.ksh

sqwmsq_ExecSQL.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_ExecSQL.ksh:

execute un fichier SQL sur l'instance Voir l'aide detaillee pour sqwmsq_ExecSQL.ksh

sqwmsq_GatherIndicators.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_GatherIndicators.ksh:

Gather MsSql indicateurs et les mettre dans SQWareRepository
Summary of collection:

• Volumetry (use, free) of instance
• Volumetry (use, free) of databases
• Volumetry (use, free) of files
• Version, options, configuration, ... of instance

Voir l'aide detaillee pour sqwmsq_GatherIndicators.ksh

sqwmsq_GatherStructure.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_GatherStructure.ksh:

Gather MsSql structure and put them in SQWareRepository
Summary of collection:

• Tables list and options
• Columns list, types and options
• Indexes list, types and options

Voir l'aide detaillee pour sqwmsq_GatherStructure.ksh

sqwmsq_NetBackup.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_NetBackup.ksh:

backup avec NetBackup des fichiers dump/backup Voir l'aide detaillee pour sqwmsq_NetBackup.ksh

sqwmsq_ParallelRun.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_ParallelRun.ksh:

Gere l'execution de commandes unix en parallele
Prend en parametre un fichier avec les commandes a executer
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Voir l'aide detaillee pour sqwmsq_ParallelRun.ksh

sqwmsq_RebuildIndexAllDatabases.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_RebuildIndexAllDatabases.ksh:

Execution de sqwmsq_RebuildIndexDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwmsq_RebuildIndexAllDatabases.ksh

sqwmsq_RebuildIndexDatabase.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_RebuildIndexDatabase.ksh:

Rebuild les indexes de la database.
version = 2000 -> Dbcc dbreindex (N'[$lvsqw_Owner].[$lvsqw_TableName]',,90)
version >= 2005 -> alter index all on [$lvsqw_Owner].[$lvsqw_TableName] Rebuild avec (online = off) Voir l'aide detaillee pour sqwmsq_RebuildIndexDatabase.ksh

sqwmsq_RestoreAllDatabases.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_RestoreAllDatabases.ksh:

Execution de sqwmsq_RestoreDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwmsq_RestoreAllDatabases.ksh

sqwmsq_RestoreDatabase.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_RestoreDatabase.ksh:

restauration Standard de la database MsSql
script recherche dynamiquement les fichiers de backup a restaurer
et faire la synchronisation de users/logins
Le script peut aussi:

• choisir le fichier de backup
• change Path pour trouver les backup a restaurer (par defaut: 'HKEY_LOCAL_MACHINE', 'BackupDirectory')
• demarrer un script shell avant la restauration
• demarrer un script shell apres la restauration

Voir l'aide detaillee pour sqwmsq_RestoreDatabase.ksh

sqwmsq_RotateErrorLog.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_RotateErrorLog.ksh:

Rotation de la log et configuration de la profondeur d'historique Voir l'aide detaillee pour sqwmsq_RotateErrorLog.ksh

sqwmsq_RunJob.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_RunJob.ksh:

Execute les scripts pour MsSql et genere les fichiers log et erreur
base sur le fichier de configuration $gvsqw_RootCfg/sqwmsq_Jobs.cfg
compresse et purge les logs les plus anciennes Voir l'aide detaillee pour sqwmsq_RunJob.ksh

sqwmsq_StatisticsAllDatabases.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_StatisticsAllDatabases.ksh:

Execution de sqwmsq_StatisticsDatabase.ksh en mode parallele
Vous pouvez choisir:

• Le degre de parallelisme
• Aggressivite de lancement (nombre de secondes entre deux lancements)
• Aggressivite de check de fin (nombre de secondes entre deux check de fin)

Filtres de generation de la liste des databases (vous pouvez tous les mixer):

• Liste d'inclusion de database
• Liste d'exclusion de database
• Clause d'inclusion de type like
• Clause d'exclusion de type like
• Clause where

Voir l'aide detaillee pour sqwmsq_StatisticsAllDatabases.ksh

sqwmsq_StatisticsDatabase.ksh

Script $gvsqw_MsqBin/bin/sqwmsq_StatisticsDatabase.ksh:

Update Statistics pour toutes les tables de la database
Commande utilisee: update statistics [$lvsqw_Owner].[$lvsqw_TableName] with fullscan, all Voir l'aide detaillee pour sqwmsq_StatisticsDatabase.ksh

etc

sqwmsq_ConfInst_CrontabRef.cfg

Fichier de configuration $gvsqw_MsqBin/../etc/sqwmsq_ConfInst_CrontabRef.cfg:


Voir l'aide detaillee pour sqwmsq_ConfInst_CrontabRef.cfg

sqwmsq_ConfInst_Jobs.cfg

Fichier de configuration $gvsqw_MsqBin/../etc/sqwmsq_ConfInst_Jobs.cfg:


Voir l'aide detaillee pour sqwmsq_ConfInst_Jobs.cfg

sqwmsq_GlobalVar.cfg

Fichier de configuration $gvsqw_MsqBin/../etc/sqwmsq_GlobalVar.cfg:
Global var for Mssql
Contient les variables operationnelles de SQWareProduction.

Voir l'aide detaillee pour sqwmsq_GlobalVar.cfg

.profile

Exemple de .profile $gvsqw_MsqBin/../etc/.profile:
Exemple de lignes a ajouter au .profile pour les users mssql.
Voir l'aide detaillee pour .profile

.profile_confort

Fichier pour mettre les aliases $gvsqw_MsqBin/../etc/.profile_confort:
Contenu des aliases de confort de SQWareProduction pour mssql.
Modèle:SQWareProductionSurchargeConfort
Voir l'aide detaillee pour .profile_confort

lib

sqwmsq_BackupDatabase.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_BackupDatabase.lib:
lib for sqwmsq_BackupDatabase.ksh

Voir l'aide detaillee pour sqwmsq_BackupDatabase.lib

sqwmsq_ExecSQL.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_ExecSQL.lib:
lib for sqwmsq_ExecSQL.ksh

Voir l'aide detaillee pour sqwmsq_ExecSQL.lib

sqwmsq_GatherIndicators.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_GatherIndicators.lib:
lib for sqwmsq_GatherIndicators.ksh

Voir l'aide detaillee pour sqwmsq_GatherIndicators.lib

sqwmsq_GatherIndicators_Overload.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_GatherIndicators_Overload.lib:
lib for overLoad sqwmsq_GatherIndicators.ksh

Voir l'aide detaillee pour sqwmsq_GatherIndicators_Overload.lib

sqwmsq_GatherStructure.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_GatherStructure.lib:
lib for sqwmsq_GatherStructure.ksh

Voir l'aide detaillee pour sqwmsq_GatherStructure.lib

sqwmsq_GenerateCreateInstance.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_GenerateCreateInstance.lib:
lib for generate configure instance

Voir l'aide detaillee pour sqwmsq_GenerateCreateInstance.lib

sqwmsq_Global.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_Global.lib:
central lib of generic fonctions for mssql

Voir l'aide detaillee pour sqwmsq_Global.lib

sqwmsq_NetBackup.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_NetBackup.lib:
lib for sqwgen_NetBackup.ksh

Voir l'aide detaillee pour sqwmsq_NetBackup.lib

sqwmsq_RebuildIndexDatabase.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_RebuildIndexDatabase.lib:
lib for sqwmsq_RebuildIndexDatabase.ksh

Voir l'aide detaillee pour sqwmsq_RebuildIndexDatabase.lib

sqwmsq_RestoreDatabase.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_RestoreDatabase.lib:
lib for sqwmsq_RestoreDatabase.ksh

Voir l'aide detaillee pour sqwmsq_RestoreDatabase.lib

sqwmsq_SetEnv.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_SetEnv.lib:
fonction to set env for Mssql

Voir l'aide detaillee pour sqwmsq_SetEnv.lib

sqwmsq_StatisticsDatabase.lib

librairies de fonctions shell $gvsqw_MsqBin/../lib/sqwmsq_StatisticsDatabase.lib:
lib for sqwmsq_StatisticsDatabase.ksh

Voir l'aide detaillee pour sqwmsq_StatisticsDatabase.lib

tools

sqwmsq_Crypt.ksh

Script $gvsqw_MsqBin/../tools/sqwmsq_Crypt.ksh:
Generic script to crypt file with openssl Voir l'aide detaillee pour sqwmsq_Crypt.ksh

sqwmsq_GenerateCreateInstance.ksh

Script $gvsqw_MsqBin/../tools/sqwmsq_GenerateCreateInstance.ksh:
Generate configure instance files Voir l'aide detaillee pour sqwmsq_GenerateCreateInstance.ksh

sqwmsq_ListAsyncFilesGlobal.ksh

Script $gvsqw_MsqBin/../tools/sqwmsq_ListAsyncFilesGlobal.ksh:
List Async files (sql, log, mail) to upload in SQWareCentral (all in a directory) Voir l'aide detaillee pour sqwmsq_ListAsyncFilesGlobal.ksh

sqwmsq_ListAsyncFiles.ksh

Script $gvsqw_MsqBin/../tools/sqwmsq_ListAsyncFiles.ksh:
List Async files (sql, log, mail) to upload in SQWareCentral Voir l'aide detaillee pour sqwmsq_ListAsyncFiles.ksh

sqwmsq_SetEnv.ksh

Script $gvsqw_MsqBin/../tools/sqwmsq_SetEnv.ksh:
set env for AliasFreeTds
Modèle:SQWareProductionSurchargeToo Voir l'aide detaillee pour sqwmsq_SetEnv.ksh

sqwmsq_TestMySQL.ksh

Script $gvsqw_MsqBin/../tools/sqwmsq_TestMySQL.ksh:
Generic test MySQL connection script Voir l'aide detaillee pour sqwmsq_TestMySQL.ksh

sqwmsq_TestSendmail.ksh

Script $gvsqw_MsqBin/../tools/sqwmsq_TestSendmail.ksh:
Generic test sendmail script Voir l'aide detaillee pour sqwmsq_TestSendmail.ksh

sqwmsq_Tis.ksh

Script $gvsqw_MsqBin/../tools/sqwmsq_Tis.ksh:
tsql connection for $lvsqw_InstanceParam Voir l'aide detaillee pour sqwmsq_Tis.ksh

sqwmsq_Uncrypt.ksh

Script $gvsqw_MsqBin/../tools/sqwmsq_Uncrypt.ksh:
Generic script to uncrypt file with openssl Voir l'aide detaillee pour sqwmsq_Uncrypt.ksh

help

Contenu des fichiers d'aide pour l'option "-s" des scripts bin.

spm

Outil de requetes SQL
Voir l'aide detaillee pour spm