Table des matières
- Nommage des fichiers de log
- Automatisation des traitements avec ezPAARSE
- Automatisation des chargements avec la commande ezMESURE
- Visualisation des tableaux de bord dans Kibana
- Vos identifiants Kibana
- Nommage de votre index
- Nommage de vos objets Kibana
Nommage des fichiers de log
Le nommage de fichiers de log directement à la source (au niveau de la configuration EZproxy par exemple) permet d’avoir une traçabilité complète lors de la suite des traitements.
Une bonne pratique recommandée par l’équipe ezPAARSE est d’utiliser la configuration EZproxy pour nommer directement les fichiers de log de façon explicite.
La directive à utiliser est la suivante :
LogFile -strftime %Y-%m-%d_univ-XXX[autres informations facultatives].log
Exemple
LogFile -strftime %Y-%m-%d_univ-lemans.log
Va demander à EZproxy de générer un fichier de log par jour en y ajoutant le préfixe/nom de l’université.
Voir le site de l’OCLC pour plus d’informations
Si vous avez des fichiers déjà nommés (avec la directive par défaut d’EZproxy par exemple), il est possible de les renommer en masse en utilisant une commande du type :
rename 's/ezp(.*)\.log/$1_univ-lemans.log/g' *.log
Automatisation des traitements avec ezPAARSE
Une fois les fichiers de log correctement nommés, la commande ezp d’une instance locale d’ezPAARSE permet de traiter un ensemble de fichier log.
Pour charger l’environnement ezPAARSE et pouvoir accéder aux commandes lancez :
[repertoire-d-installation-ezpaarse]:. ./bin/env
export http_proxy=''; ezp bulk /data/archives/ESR/univ-paris8 /data/results/ESR/univ-paris8/archive
La commande ci-dessus traite tous les fichiers du répertoire /data/archives/ESR/univ-paris8 et pour mettre le résultat du traitement dans le répertoire /data/results/ESR/univ-paris8/archive .
Cette commande peut être lancée plusieurs fois dans le même répertoire, elle ne générera que les fichiers non encore traités.
Les plateformes éditeurs sont en constante évolution. Ce qui nous amène à procéder à des mises à jours des parseurs régulièrement. C’est pourquoi, nous vous invitons à mettre à jour votre instance ezPAARSE et retraiter vos logs de l’année en cours au moins deux fois par an (juillet et décembre) pour bénéficier des derniers enrichissements dans les ECs.
Automatisation des chargements avec la commande ezmesure
La commande ezmesure ou ezm est installée sur votre système avec ezPAARSE, il est possible de charger automatiquement le résultat du traitement d’ezPAARSE dans le dépôt national ezMESURE.
Pour charger l’environnement ezPAARSE et pouvoir accéder aux commandes lancez :
[repertoire-d-installation-ezpaarse]:. ./bin/env
puis, si votre commande n’est pas encore configurée avec votre token (à faire une seule fois)
ezm config set token <votre-token-trouve-sur-votre-compte-ezmesure> -g
pour la tester
ezm indices list
vous permet de voir à quel(s) index vous avez accès et combien d’évènements de consultations ils contiennent.
Puis vous pouvez insérer des données (par exemple si votre index s’appelle univ-fcomte et que vos données ezPAARSE se trouvent dans le répertoire /data/results/ESR/univ-fcomte/encours/)
ezm indices insert univ-fcomte /data/results/ESR/univ-fcomte/encours/*.csv
Cette commande peut être lancée plusieurs fois dans le même répertoire, elle n’insèrera que les ECs non encore chargés ou alors fera des mises à jour. Le nom de votre index est important et vous a été communiqué par l’équipe (c’est aussi lui qui s’affiche avec la commande ezm indices list).
Données ezPAARSE transmises à EzMESURE : il est fortement conseillé de n’utiliser que les données traitées automatiquement pour les insertions dans ezMESURE de façon à limiter les erreurs de chargement.
Nous vous déconseillons vivement d’éditer manuellement les fichiers que vous souhaitez déposer dans ezMESURE, en particulier avec Excel, vous risquez de voir les identifiants, comme les ISBN ou les ISSN, (chaîne de caractères) convertis en nombre de façon silencieuse. Le format actuellement accepté par la commande ezm (v2.2.4) est du CSV (qui peut être gzippé pour économiser le réseau). Les champs obligatoires sont les champs :
- datetime,
- log_id,
- rtype,
- mime,
- title_id
- doi,
automatiquement générés par ezPAARSE.
Pour plus d’information sur les champs et les formats conseillés pour l’insertion dans ezMESURE, vous pouvez consulter : Qu’est-ce que le format EZC ?
Tous les champs du fichier de données insérées sont ensuite exploitables en visualisation avec Kibana, grâce à la création de visualisations et de dashboards personnalisés. A l’issue d’un premier chargement, le lien vers un dashboard par défaut vous est communiqué par l’équipe. Celui-ci est ensuite éventuellement modifiable à votre convenance.
Visualisation des tableaux de bord dans Kibana
Si vous aviez déjà un tableau de bord, celui est automatiquement à jour du fait des chargements des données. Vous n’avez qu’à faire varier la sélection des dates. Il suffit alors de visiter ezMESURE avec vos identifiants et de choisir votre tableau de bord dans votre espace Kibana.
Vous pouvez aussi créer vos tableaux de bord personnalisés en respectant les bonnes pratiques (voir plus bas) et même être aidé par l’équipe pour le faire (voir tutoriels).
Vos identifiants Kibana
Vos identifiants vous sont communiqués par mail après la première connexion dans ezMESURE, ils correspondent à la partie précédent le @ de votre adresse mail.
Un contact est nécessaire avec l’équipe pour accèder à l’espace Kibana et obtenir votre premier dashboard par défaut.
Nommage de votre index
Le nom de votre index est important, il correspond généralement à la partie suivant le @ de votre adresse mail ou a la forme univ-XXX (Dans le cas des partenaires universitaires).
Le nom de votre index est déterminé par l’équipe suite à la validation de vos informations organismes.
Nommage de vos objets Kibana
Si vous partagez votre espace ezMESURE avec des collègues, une bonne pratique est de préfixer vos objets Kibana par vos initiales.
Ce nommage permet ensuite de retrouver facilement les dashboards associés à une personne (à ses initiales) en utilisant les filtres d’affichage
Les objets de visualisation Kibana peuvent être dédiés à un usage spécifique. C’est le cas par exemple pour la génération de dashboard PDF. Dans ce cas, il est possible de le signaler pour les retrouver facilement en utilisant le mot clé « report » dans les noms des objets.
Dominique Lechaudel pour l’ezTEAM