Général:Concepts : Différence entre versions

Version du 19 décembre 2015 à 18:37

Généralités

Limites de cette section

Cette section n’a pas la prétention de traiter tous les cas possibles de paramétrage de dbSQWare mais va vous permettre d’appréhender la structure générale de l’outil, l’interconnexion des modules, le principe de personnalisation, …
Pour plus d’informations, http://www.dbsqware.com.

Avant de vous lancer dans l’installation, lisez également la section [[DbSQWare:InstallationSocle|« Installation socle », elle vous permettra de réaliser une installation standard du socle central.

dbSQWare, c’est quoi ?

dbSQWare^TM permet de fédérer l’exploitation des bases de données Oracle, Sybase, SqlServer, MySQL, DB2, PostgreSQL, MongoDB, Cassandra, … grâce à un socle commun et homogène. La conception de cette plate-forme apporte une grande souplesse d’utilisation, de personnalisation et une approche unifiée concernant l’exploitation et le rendu des indicateurs sur l’ensemble des types de SGBD gérés par l’outil.
Le produit est destiné (pour sa partie scripts) à des environnements Unix/Linux uniquement car il est essentiellement écrit en shell ksh et sql (même MsSql est géré à 100% depuis unix grâce à une connexion FreeTds, pour plus d’information http://www.freetds.org/). La partie web, pour sa part, est écrite en PHP et javascript (jQuery).
Pour les SGBD autre que MsSql se trouvant sous Windows, un certain nombre de fonctionnalités (mais pas toutes) sont accessibles grâce à une connexion sql distante (pour les scripts le supportant).

Liste des SGBD supportés à l’heure actuelle :

Oracle
Sybase (ASE et RS)
MySQL
MsSql
MongoDB
DB2
PostgreSQL
Teradata
Cassandra
Ingres

Une recherche de l’ »Homogénéité »

Dans l’utilisation :

Utilisation homogène, quel que soit le SGBD
Adaptation aisée par fichiers de configuration et/ou passage d’arguments
Une seule version de l’outil sur l’ensemble du parc (synchronisation par rsync)
Les scripts s’adaptent à la version du SGBD traité (un seul script pour une action. Exemple : le script d’indicateurs oracle supporte de la v7 à la 12c multitenant architecture)
Lancement sans argument
Aide en ligne (arguments et exemples)
Exécution "à blanc" pour valider la syntaxe (flag –Exec)

Dans le développement et les évolutions :

Conception homogène pour l’ensemble des SGBD
Normalisation du code (noms, fonctions, structures, parsing d’arguments, aide en ligne, …)
Librairies génériques multi-moteurs
Modification du comportement par surcharge des librairies
Ensemble de librairies shell standards pouvant être intégrées dans des scripts customs

Structure générale de l’outil

dbSQWare^TM est composé de quatre modules complémentaires.

SQWareProduction^TM est le module d'exploitation en local (ou à distance pour 80% des fonctionnalités) des SGBD. Il permet de gérer l'exploitation au sens large des SGBD :

Sauvegardes
Restaurations
Statistiques
Remontée d’alertes
Encapsulation de lancement de jobs
Lancement de commandes unix en parallèle
...

Ce module collecte également un certain nombre d'indicateurs qui sont remontés sur le référentiel de base de données SQWareRepository^TM. Ce module est composé d'une partie par SGBD géré ainsi que d’une partie « core » comprenant un ensemble de paramétrages et de fonctions génériques à tous les SGBD. Les scripts sont tous écrits selon la même norme de développement (parsing d’arguments, aide en ligne, envoi de mail sur erreur, remontée d’indicateurs dans SQWareRepository^TM, …).

SQWareRepository^TM est le module de gestion du référentiel et des indicateurs en base de données :
Il permet de gérer le référentiel ainsi que les indicateurs stockés en bases de données.
Il s’agit d’une database MySQL, avec des tables génériques ainsi que des tables spécifiques en fonction du SGBD traité (le référentiel unique est apparu en v3.0).

SQWareCentral^TM est le module central de l’outil. Il permet de gérer l'ensemble du parc depuis ce point central :

Collectes centralisées d’indicateurs
Déploiement de SQWareProductionTM par rsync
Gestion de recherche « full text » dans les référentiels
Connexion simplifiée par ssh aux différentes instances du parc…
Génération de fichier CMDB
Check centralisé des indicateurs

Ce module se base entre autres sur le référentiel, SQWareRepositoryTM (génération dynamique des listes d’instances à traiter, …). Il est composé d’une partie « core », commune à tous les SGBD exploités et d’un plugin spécifique pour chaque SGBD (Oracle, Sybase, MsSql, MySQL, DB2, PostgreSQL, MongoDB, Cassandra, …).
En général, l’installation du point central se fait sur une VM (1 vCPU et 2 Go de RAM) CentOS 6.x 64bits. Vous pouvez évidemment l’installer sur un autre type de Linux/Unix.

SQWareWeb^TM est le module de restitution graphique web des indicateurs :
Il fonctionne avec apache 2.x et est écrit en PHP (5.2 ou 5.3), javascript (jQuery).
Il permet de faire la présentation des indicateurs et capacity planning sous forme :

Graphiques (javascript)
Tableaux (avec tri, filtrage et formatage en local sur le navigateur)
Exports Excel
...

Il se base entièrement sur les données contenues dans le référentiel de base de données SQWareRepository^TM. Aucune connexion aux bdd clientes, l’interface ne sert qu’à la restitution des indicateurs et au paramétrage du référentiel.
Les restitutions sont présentées sensiblement de la même façon quel que soit le SGBD (aux spécificités près de celui-ci), ce qui rend plus agréable et plus aisée la navigation. Ce module est composé d’une partie « core », commune à tous les SGBD gérés, (moteur de templates, affichage graphiques, tableaux, ...) et d’un plugin spécifique pour chaque SGBD.

Normalisation

Une des bases de « l’homogénéité » passe par de la normalisation et la généricité.

Convention de nommage

Arborescences

Arborescences générales (sur le point central) :

…/dbSQWare/SQWareProduction/… 	=> arborescence du module SQWareProduction.
…/dbSQWare/SQWareRepository/… 	=> arborescence du module SQWareRepository.
…/dbSQWare/SQWareCentral/… 	=> arborescence du module SQWareCentral.
…/dbSQWare/SQWareWeb/… 		=> arborescence du module SQWareWeb.

Ensuite, pour le niveau sous les modules, il existe un répertoire « generic » contenant tout ce qui est multi-sgbd et un répertoire par sgbd supporté.
Voici ce que cela donne :

cassandra => spécifique pour Cassandra
db2 => spécifique pour DB2
generic => générique à tous les moteurs
ingres => spécifique pour Ingres
mongodb => spécifique pour MongoDB
mssql => spécifique pour MsSql
mysql => spécifique pour MySQL
oracle => spécifique pour Oracle
postgres => spécifique pour PostgreSQL
sybase => spécifique pour Sybase ASE
sybrep => spécifique pour Sybase RS
teradata => spécifique pour teradata

Puis, pour les arborescences contenant des scripts, vous trouverez des répertoires comme suivant. Les répertoires de la forme *_cust sont dédiés à la customisation de votre environnement, autant que possible, ne touchez qu’aux scripts et fichiers de configuration de ces arborescences, cela vous facilitera les mises à jours de l’outil (sauf bug spécifique, il n’y a pas de raison de toucher aux arborescences standards si vous suivez les préconisations de personnalisation).
Contenu des répertoires :

bin => scripts standards
bin_cust => scripts customs pour votre environnement
etc => fichiers standards de configuration (variables globales)
etc_cust => fichiers customs de configuration (surchargent les standards)
help => fichiers standards d’aide
help_cust => fichiers customs d’aide pour votre environnement
lib => librairies standards de fonctions shell
lib_cust => librairies customs de fonctions shell (surchargent les standards)
tools => scripts standards utilisés ponctuellement
tools_cust => scripts customs utilisés ponctuellement pour votre environnement
menu => menus (shell) standards
menu_cust => menus customs pour votre environnement

Voici donc, par exemple, ce que cela donne pour SQWareProduction Oracle et Générique :

SQWareProduction/oracle
SQWareProduction/oracle/bin
SQWareProduction/oracle/bin_cust
SQWareProduction/oracle/etc
SQWareProduction/oracle/etc_cust
SQWareProduction/oracle/help
SQWareProduction/oracle/help_cust
SQWareProduction/oracle/lib
SQWareProduction/oracle/lib_cust
SQWareProduction/oracle/menu
SQWareProduction/oracle/menu_cust
SQWareProduction/oracle/tools
SQWareProduction/oracle/tools_cust
SQWareProduction/generic
SQWareProduction/generic/bin
SQWareProduction/generic/bin_cust
SQWareProduction/generic/etc
SQWareProduction/generic/etc_cust
SQWareProduction/generic/lib
SQWareProduction/generic/lib_cust
SQWareProduction/generic/tools
SQWareProduction/generic/tools_cust

Fichiers (arborescence scripts)

La majorité des fichiers sont nommés avec un préfixe de la forme :

sqwora_*	=> pour Oracle
sqwsyb_*	=> pour Sybase ASE
sqwrs_* 	=> pour Sybase RS
sqwmys_*	=> pour Mysql
sqwmsq_*	=> pour Mssql
sqwdb2_*	=> pour DB2
sqwpg_* 	=> pour PostgreSQL
sqwter_*	=> pour Teradata
sqwcas_*	=> pour Cassandra
sqwing_*	=> pour Ingres
sqwgen_*	=> pour les génériques (multi SGBD)
sqwctl_*	=> pour ceux du module SQWareCentral

La majorité des fichiers sont nommés avec un suffixe de la forme :

.ksh => pour les scripts shell
.cfg => pour les fichiers de configuration (variables globales)
.lib => pour librairies de fonctions shell
.hlp => pour les fichiers d’aide

Fichiers (arborescence web)

La majorité des fichiers sont nommés avec un suffixe de la forme :

*.php	=> pour les scripts PHP
*.js	=> pour les scripts javascript
*.chart	=> pour les fichiers de paramétrage des graphiques
*.table	=> pour les fichiers de paramétrage des tableaux

Contenu des scripts shell

En général, la convention suivie dans les scripts shell est la suivante :

gvsqw_*{} => variable globale initialisée par l’environnement et/ou une librairie générique
lvsqw_*{} => variable locale initialisée par le script et/ou une librairie spécifique
gfsqw_*{} => fonction définie par une librairie générique
lfsqw_*{} => fonction définie par le script et/ou une librairie spécifique

Objets bdd (SQWareRepository)

Les objets préfixés par tsqw_% or isqw_% sont génériques à tous les moteurs. Les objets préfixés par tsqwXXX_% or isqwXXX_% sont spécifiques pour un SGBD particulier (exemple : tsqwcas_% or isqwcas_% pour Cassandra).

Noms des objets génériques :

tsqw_% => pour les tables
isqw_% => pour les indexes
isqw_%_u => pour les indexes uniques
isqw_%_pk => pour les primary keys

Noms des objets spécifiques :

tsqwXXX_% => pour les tables
isqwXXX_% => pour les indexes
isqwXXX_%_u => pour les indexes uniques
isqwXXX_%_pk => pour les primary keys

Exemple du spécifique pour Cassandra :

tsqwcas_% => pour les tables
isqwcas_% => pour les indexes
isqwcas_%_u => pour les indexes uniques
isqwcas_%_pk => pour les primary keys

Principe de surcharge

Attention, cette section est une partie essentielle pour paramétrer dbSQWare sans remettre en cause les prochains patches/upgrades. Comme expliqué dans la section précédente, il ne faut pas toucher aux fichiers des arborescences standards, mais utiliser les répertoires de type *_cust pour faire votre customisation.
Lors d’un patch/upgrade, on extrait l’archive dbSQWare_full_latest.tgz par-dessus l’arborescence installée, ce qui écrase les fichiers standards avec la nouvelle version mais conserve vos customisations !
Le principe de base de la surcharge est de créer un fichier de même nom que dans l’arborescence (XXX) standard dans l’arborescence (XXX_cust) et d’y redéclarer la/les variables/librairies nécessaire(s).
Ne déclarez que le strict nécessaire pour le fonctionnement sur votre environnement (inutile de tout déclarer comme pour une configuration bdd).

Personnalisation des variables

Le fichier essentiellement mis à jour pour les variables est sqwgen_GlobalVar.cfg, nous le prendrons donc comme exemple.
Le principe suivant se base sur $gvsqw_GenPath qui représente le path du script exécuté et sur ${gvsqw_RdbmsRoot} qui représente le trigramme (en minuscule) du SGBD sur lequel tourne le script et $gvsqw_RdbmsType, le répertoire spécifique du SGBD. Voir le paragraphe sur les règles de nommage pour les noms de fichiers réels.

Principe général du source en cascade (si les fichiers existent, 6 niveaux) :

# Fichier generic standard => pour tout le parc
$gvsqw_GenPath/../../generic/etc/sqwgen_GlobalVar.cfg
# Fichier generic custom => pour tout le parc
$gvsqw_GenPath/../../generic/etc_cust/sqwgen_GlobalVar.cfg
# Pour une machine non normalisée => spécifique à la machine
$HOME/sqwConfig/sqwgen_GlobalVar.cfg
# Fichier spécifique sgbd standard => pour tout le parc
$gvsqw_GenPath/../../$gvsqw_RdbmsType/etc/sqw${gvsqw_RdbmsRoot}_GlobalVar.cfg
# Fichier spécifique sgbd custom => pour tout le parc
$gvsqw_GenPath/../../$gvsqw_RdbmsType/etc_cust/sqw${gvsqw_RdbmsRoot}_GlobalVar.cfg
# Fichier spécifique sgbd pour une machine non normalisée => spécifique à la machine
$HOME/sqwConfig/sqw${gvsqw_RdbmsRoot}_GlobalVar.cfg

Exemple pour SQWareProduction Oracle installé dans le $HOME :

# Fichier generic standard => pour tout le parc
$HOME/SQWareProduction/../../generic/etc/sqwgen_GlobalVar.cfg
# Fichier generic custom => pour tout le parc
$HOME/SQWareProduction/../../generic/etc_cust/sqwgen_GlobalVar.cfg
# Pour une machine non normalisée => spécifique à la machine
$HOME/sqwConfig/sqwgen_GlobalVar.cfg
# Fichier spécifique sgbd standard => pour tout le parc
$HOME/SQWareProduction/../../oracle/etc/sqwora_GlobalVar.cfg
# Fichier spécifique sgbd custom => pour tout le parc
$HOME/SQWareProduction/../../oracle/etc_cust/sqwora_GlobalVar.cfg
# Fichier spécifique sgbd pour une machine non normalisée => spécifique à la machine
$HOME/sqwConfig/sqwora_GlobalVar.cfg

Note:
{{{1}}}.

Personnalisation des fonctions shell

En principe, sauf cas d’utilisation avancé de dbSQWare, vous n’avez pas besoin de personnaliser les fonctions, la surcharge de variables ou le passage d’options est suffisant dans la grosse majorité des cas (plus de 99%).
Attention, la customisation de fonction demande un minimum de compétences en shell et une analyse d’impact sur le fonctionnement futur des scripts. Nous nous conseillons de vous faire assister par le support, au moins pour la première fois.

La majorité des scripts des arborescences …/bin/ sourcent (grâce à la fonction gfsqw_SourceOverLoadLibs) les librairies du même nom que le script, en remplaçant .ksh par .lib (exemple : yyy.ksh va sourcer yyy.lib).

Dans l’explication suivante des sources en cascade de librairies, voici à quoi correspondent les variables :

gvsqw_GenPath => path du script exécuté
lvsqw_Lib => librairie que l’on souhaite charger (exemple sqwora_Global.lib)
lvsqw_LibGen => nom générique, on remplace dans lvsqw_Lib le trigramme spécifique au SGBD par gen (exemple sqwgen_Global.lib)

Principe général du source en cascade (si les fichiers existent, 10 niveaux) :

# Librairie generic standard => pour tout le parc
$gvsqw_GenPath/../../generic/lib/$lvsqw_LibGen
# Librairie generic custom => pour tout le parc
$gvsqw_GenPath/../../generic/lib_cust/$lvsqw_LibGen
# Librairie spécifique sgbd standard => pour tout le parc
$gvsqw_GenPath/../lib/$lvsqw_LibGen
# Librairie spécifique sgbd custom => pour tout le parc
$gvsqw_GenPath/../lib_cust/$lvsqw_LibGen
# Pour une machine non normalisée => spécifique à la machine
$HOME/sqwConfig/$lvsqw_LibGen
# Librairie generic standard => pour tout le parc
$gvsqw_GenPath/../../generic/lib/$lvsqw_Lib
# Librairie generic custom => pour tout le parc
$gvsqw_GenPath/../../generic/lib_cust/$lvsqw_Lib
# Librairie spécifique sgbd standard => pour tout le parc
$gvsqw_GenPath/../lib/$lvsqw_Lib
# Librairie spécifique sgbd custom => pour tout le parc
$gvsqw_GenPath/../lib_cust/$lvsqw_Lib
# Pour une machine non normalisée => spécifique à la machine
$HOME/sqwConfig/$lvsqw_Lib

Exemple pour sqwora_ParallelRun.ksh de SQWareProduction Oracle installé dans le $HOME :

# Librairie generic standard => pour tout le parc
$HOME/SQWareProduction/../../generic/lib/sqwgen_ParallelRun.lib
# Librairie generic custom => pour tout le parc
$HOME/SQWareProduction/../../generic/lib_cust/sqwgen_ParallelRun.lib
# Librairie spécifique sgbd standard => pour tout le parc
$HOME/SQWareProduction/../lib/sqwgen_ParallelRun.lib
# Librairie spécifique sgbd custom => pour tout le parc
$HOME/SQWareProduction/../lib_cust/sqwgen_ParallelRun.lib
# Pour une machine non normalisée => spécifique à la machine
$HOME/sqwConfig/sqwgen_ParallelRun.lib
# Librairie generic standard => pour tout le parc
$HOME/SQWareProduction/../../generic/lib/sqwora_ParallelRun.lib
# Librairie generic custom => pour tout le parc
$HOME/SQWareProduction/../../generic/lib_cust/sqwora_ParallelRun.lib
# Librairie spécifique sgbd standard => pour tout le parc
$HOME/SQWareProduction/../lib/sqwora_ParallelRun.lib
# Librairie spécifique sgbd custom => pour tout le parc
$HOME/SQWareProduction/../lib_cust/sqwora_ParallelRun.lib
# Pour une machine non normalisée => spécifique à la machine
$HOME/sqwConfig/sqwora_ParallelRun.lib



 Note:
 {{{1}}}. 
 



Interopérabilité des modules
Communications entre les modules
Depuis SQWareProduction
SQWareProduction est le seul module se connectant directement aux bases de données clientes. Il permet ensuite notamment de remonter un certain nombre d’indicateurs dans SQWareRepository.

Il faudra donc que le serveur où s’exécutent les scripts de SQWareProduction puisse communiquer avec l’instance MySQL portant la database de SQWareRepository.

Pré-requis :
*Flux vers le repo MySQL (en général TCP vers le port 3306 du host central de dbSQWare)
*Un client MySQL (n’importe quelle version 5.x du client pour votre plateforme)


Depuis SQWareRepository
SQWareRepository étant une database MySQL, aucun flux n’est à son initiative.


Depuis SQWareCentral
SQWareCentral se connecte à SQWareRepository pour générer les listes d’instances à traiter. Il permet également de lancer des commandes SQWareProduction au travers d’une connexion ssh. Il permet également le déploiement des scripts SQWareProduction par rsync.

Pré-requis :
*Package rsync sur le point central et les clients SQWareProduction
*Flux ssh vers les clients SQWareProduction (TCP port 22 vers les clients SQWareProduction)
*Flux vers le repo MySQL (en général les deux modules sont sur la même machine)


Depuis SQWareWeb
SQWareWeb se connecte à SQWareRepository qui contient les indicateurs (aucune connexion vers les bases clientes).

Pré-requis :
*Packages httpd.x86_64 php.x86_64 php-pdo php-mysql
*Flux vers le repo MySQL (en général les deux modules sont sur la même machine)


Matrice de flux
Cette section ne couvre pas tous les cas possibles, mais doit vous permettre de faire ouvrir les flux nécessaires en cas de présence de FW.





Type
Nombre
Source
Destination
Port (courant)
Commentaire


Toujours
x
SQWareProduction
SQWareRepository
3306
Texte de la cellule


Toujours
x
SQWareCentral
SQWareProduction
22
Texte de la cellule










Texte de la cellule
x
SQWareProduction
sur CentralHost
bdd Oracle
1521
Lorsque l'on souhaite collecter les rapports AWR depuis le point central.
Autant de fois qu'il y a de bdd Oracle.


Texte de la cellule
x
SQWareProduction
sur CentralHost
bdd MsSql
1433
Lorsque l'on souhaite gérer tous les MsSql depuis le point central.
Peut-être aussi installé sur une autre machine que le pont central.










Distribué
1
SQWareCentral
SQWareRepository
3306
Quand la base MySQL du repo n'est pas sur le point central (rare)


Distribué
1
SQWareWeb
SQWareRepository
3306
Quand la base MySQL du repo n'est pas sur le point central (rare)
ou que SQWareWeb n'est pas sur le point central (rare)










Liens utiles
Voici les liens utiles pour dbSQWare^TM:
*http://www.dbsqware.com/ => Site principal de dbSQWare^TM
*http://webdba.dbsqware.com/ => Démonstration du module SQWareWeb^TM
*http://wiki.dbsqware.com => Wiki officiel de dbSQWare^TM
*http://blog.dbsqware.com => Blog officiel de dbSQWare^TM
*http://forum.dbsqware.com => Forum officiel de dbSQWare^TM


Rejoignez le groupe dbSQWare sur viadéo:

http://www.viadeo.com/groups/?containerId=002dcbr792acawk



Rejoignez le groupe dbSQWare sur Linkedin:

http://www.linkedin.com/groups?gid=3683269

Général:Concepts : Différence entre versions

Version du 19 décembre 2015 à 18:37

Sommaire

Généralités

Limites de cette section

dbSQWare, c’est quoi ?

Une recherche de l’ »Homogénéité »

Structure générale de l’outil

Normalisation

Convention de nommage

Arborescences

Fichiers (arborescence scripts)

Fichiers (arborescence web)

Contenu des scripts shell

Objets bdd (SQWareRepository)

Principe de surcharge

Personnalisation des variables

Personnalisation des fonctions shell

Interopérabilité des modules

Communications entre les modules

Depuis SQWareProduction

Depuis SQWareRepository

Depuis SQWareCentral

Depuis SQWareWeb

Matrice de flux

Liens utiles

Menu de navigation

Outils personnels

Espaces de noms

Variantes

Affichages

Plus

Rechercher

WikiFr

Général

SQWareProduction

Annexes

Outils

Type	Nombre	Source	Destination	Port (courant)	Commentaire
Toujours	x	SQWareProduction	SQWareRepository	3306	Texte de la cellule
Toujours	x	SQWareCentral	SQWareProduction	22	Texte de la cellule

Texte de la cellule	x	SQWareProduction sur CentralHost	bdd Oracle	1521	Lorsque l'on souhaite collecter les rapports AWR depuis le point central. Autant de fois qu'il y a de bdd Oracle.
Texte de la cellule	x	SQWareProduction sur CentralHost	bdd MsSql	1433	Lorsque l'on souhaite gérer tous les MsSql depuis le point central. Peut-être aussi installé sur une autre machine que le pont central.

Distribué	1	SQWareCentral	SQWareRepository	3306	Quand la base MySQL du repo n'est pas sur le point central (rare)
Distribué	1	SQWareWeb	SQWareRepository	3306	Quand la base MySQL du repo n'est pas sur le point central (rare) ou que SQWareWeb n'est pas sur le point central (rare)