[Réglé] Temps de prise en compte de nouveaux sujets très longs et différents suivant le forum

[Manard]

Bonjour,

Dans notre forum, ça fait un moment que le temps de réponse lors de la création de sujets ou les réponses dans un sujet prennent beaucoup de temps pour être pris en compte.

La base de données pèse 830 Mo

Serveur de base de données : MySQL(i) 10.3.31-MariaDB-log
Version de PHP : 8.1.18

Ce matin, j'ai procédé à des tests de nouveaux sujets, un même contenu d'une vingtaine de lignes suivant le forum dans lequel je le poste peut prendre jusqu'à 35 secondes et sur un autre 2 à 3 secondes

Sur celui de 35 secondes, l'espace est public, tandis que pour celui de quelques secondes, l'espace est privé ou seulement accessibles aux modérateurs et administrateurs.

J'ai examiné la base de données, l'ai optimisé, le temps de réponse ne s'est pas amélioré...

Auriez-vous rencontré de tels comportements ou une idée sur la recherche que je pourrais faire sur la dégradation de ce temps de réponse.

Je n'ai pas encore contacté l''hébergeur pour l'entretenir de ces temps, car je crains que ce soit lié à la structure interne de la base de données ?

Avec mes remerciements

Bernard

[Steph]

Salut,

As tu tester en désactivant les extensions histoire de voir si le souci vient par de là ?

[Manard]

Bonjour Steph,

Je te remercie de ta réponse.
J'ai un forum de test sur lequel je fais les essais pour les nouvelles versions et les extensions. Il n'avait pas la même base de données. Je l'ai mis à jour avec une copie de celle du forum.
Ce forum de test ne présente pas ce temps de réponse énorme avec les mêmes extensions d'activées, les htaccess étaient différents, celui du forum avec un htaccess du temps de phpBB SEO et sur le forum de test celui d'une nouvelle installation phpBB.

J'ai retiré toutes les lignes en plus de l'htaccess du forum, malgré ça, le temps de prise en compte ne s'améliore pas...

Demain je vais supprimer la base de données et la recréer, voir si ça résout ce souci.

Bonne soirée

Bernard

Edition du 18 mai

Ce matin et cet après-midi j'ai procédé à divers essais. Hier dans le forum de test j'avais conservé la table "phpbb_config" de la précédente base de données en place. J'ai maintenant installé une copie de celle du forum en ligne en modifiant le nom du cookie et le chemin du dossier d'installation.
Miantenant je reproduis les mêmes symptômes de lenteur lors de l'envoi d'un nouveau sujet.
J'ai procédé à la désactivation de toutes les extensions, malgré ça, la lenteur est toujours présente.

Je dois avoir un paramètre dans cette table à l'origine de ce problème, pour le moment je n'arrive pas à trouver lequel

Bernard

[cabot]

Hello,

Autre piste, as-tu une recrudescence de robots qui tentent de publier des messages ?
J'en parle car je viens de tomber sur ce sujet sur .com.

[Manard]

Bonjour Cabot,

Je te remercie de ta réponse et de la piste à creuser. Je n'ai pas eu d'attaque de ce type, de plus le forum de test n'est pas connu des robots ou autres.

Je suis en train de comparer les données de deux tables config, voir si je décèle une anomalie...

Si je ne trouve pas, je poserai la question sur phpbb.com

Je te souhaite un bon weekend

Bernard

[Bid0uille]

Bonjour,

ça fait un moment

Et donc quel est l'événement qui aurait occasionné la lenteur ?
L'hébergeur ne serait-il pas en cause ?

[Manard]

Bonsoir,

BidOuille, l'hébergeur n'est pas en cause car sur un forum de test qui était en 3.3.4 ce problème de lenteur n'existait pas. Il avait une table phpbb_config qui datait de deux ou trois ans, mais mise à jour lors des différentes versions jusqu'à la 3.3.10. La base de ce forum de test pèse environ 600 Mo.

Je bataille depuis plusieurs jours, je pense avoir réussi à résoudre ce problème, mais n'ai pas pu pointer quel paramètre provoque cette lenteur.

J'ai installé deux nouveaux forums de test avec des installations en phpBB 3.3.10 , copie de la base en ligne sur ces deux forums et remplacement de la table phpbb_config par celle du forum de test en 3.3.4 sur l'un des deux.

J'ai créé une nouvelle base que j'ai appelée comparison, y ai importé la table phpbb_config de la version en cours et celle de la version 3.3.4. Pour pouvoir importer ces deux tables de même nom j'ai remplacé dans celles-ci phpbb_config par test334 pour l'une et test3310 pour l'autre.

Ces tables avec les extensions que j'utilise ou ai précédemment installées, ont environ 480 lignes, avec des restes de paramétrage d'anciennes extensions testées ou abandonnées comme Tapatalk, Mobiquo,... J'ai avant tout procédé à la suppression de ces lignes puis ai lancé trois requêtes SQL pour connaître les lignes présentes dans la table test3310 et absentes dans test334 et inversement, présentes dans test334 et absentes dans test334. Et pour la troisième les champs config_name communs avec des valeurs config_value différentes.

Voici les trois requêtes lancées :

Lignes présentes dans la table test3310 et absente dans test334

Code : Tout sélectionner

SELECT test3310.*
FROM test3310
LEFT OUTER JOIN test334
ON test3310.config_name = test334.config_name
WHERE test334.config_name IS NULL

Lignes présentes dans la table test334 et absente dans test3310

Code : Tout sélectionner

SELECT test334.*
FROM test334
LEFT OUTER JOIN test3310
ON test334.config_name = test3310.config_name
WHERE test3310.config_name IS NULL

Puis pour la troisième

Code : Tout sélectionner

SELECT test3310.*
FROM test3310
LEFT OUTER JOIN test334
ON test3310.config_name = test334.config_name
WHERE test334.config_value != test3310.config_value

A partir des résultats de ces trois requêtes, j'ai analysé les différences et ai reconstruit une table phpbb_config à partir de celle de la version 3.3.4.

Lors de mon dernier essais sur une copie de la base actuelle avec cette nouvelle table, la lenteur relevée a disparu.

Ce soir je fais la modification sur le forum en ligne, je vous indiquerai si c'est également résolu.

Bonne soirée

Bernard

Edition

La nouvelle table config a été installée, la temps de publication de nouveaux sujets dans le forum en ligne est maintenant revenu normal.

[cabot]

Merci pour le retour d'infos, Manard.

[Manard]

Bonjour Cabot et vous tous,


Je reviens sur mon post car je viens de trouver l'origine de cette lenteur.

Je viens de réaliser de nombreuses modifications ligne par ligne dans la table config d'origine qui provoquait ces lenteurs en injectant la table config ainsi modifiée dans une base de test, en changeant le nom du cookie à chaque injection et en supprimant le dossier "production" du cache du forum.

Le problème a été trouvé dans cette ligne

Code : Tout sélectionner

('email_package_size', '0', 0),

C'est un paramètre qui est réglé dans PCA , Général et Paramètres des courriels, sous le nom de "Taille des paquets de courriels".

Taille des paquets de courriels :
Ceci est le nombre de courriels envoyés dans un paquet. Cette option est appliquée à la file d’attente des messages ; réglez cette option à « 0 » si vous rencontrez des problèmes avec des notifications de messages non délivrés.

Cette option était réglée à "0" sur le forum en ligne et à "2" sur le forum à la version phpBB 3.3.4 dont j'ai repris en grande partie les réglages hier soir.

J'ai trouvé sur phpBB.com un vieux fil de discussion de 2013 qui fait état de ce paramètre : https://www.phpbb.com/community/viewtopic.php?t=2196310

Voici la traduction avec DeepL

Jusqu'à présent, j'avais un nombre d'utilisateurs suffisamment restreint pour pouvoir m'en sortir avec un email_package_size de 0 (ce qui évite d'utiliser la file d'attente de notification par courriel et envoie tous les courriels de notification dès que le message est posté), mais comme le nombre d'utilisateurs a augmenté (et que la plupart des gens reçoivent des notifications pour chaque message), cette approche n'est plus idéale.

C'est pourquoi j'ai fixé la taille des paquets d'e-mails à 80, mais j'ai remarqué que les notifications mettaient un certain temps à être envoyées. En effet, la file d'attente est configurée (par défaut) pour n'être envoyée que 60 secondes après la mise à jour du fichier de file d'attente, de sorte que le propre message d'un posteur (et le retour du posteur sur le forum après le message) ne déclenche pas d'envoi. Ainsi, les notifications ne sont pas envoyées tant qu'il n'y a pas d'autre activité sur le forum (cet utilisateur ou un autre utilisateur doit se rendre quelque part sur le forum une fois les 60 secondes écoulées pour déclencher un envoi).

La solution la plus simple est de mettre queue_interval (dans la table 'phpbb_config' de la base de données) à 0, et cela semble fonctionner correctement. Le trafic n'est pas assez important pour déclencher une violation des règles imposées par mon hébergeur sur la fréquence des envois de courriels. Y a-t-il un inconvénient à cette approche en termes de performances du forum ? Elle semble aider plutôt que nuire à cet égard (en comparaison avec le fait de laisser email_package_size à 0). Y a-t-il une autre méthode que je devrais envisager ?

(Je sais que je peux mettre en place une tâche cron externe qui appelle cron.php périodiquement, mais je pense que cela créerait plus de pression sur les ressources qu'il n'y en aurait).

Réponse dans le post

Alan, tu t'y connais mieux que moi, mais un éventuel problème de performance en fixant l'intervalle de file d'attente à 0 pourrait être lié aux multiples processus liés au fichier cache (verrouillage, déverrouillage, vérification du verrou, lecture et écriture des données de la file d'attente - une fois pour chaque paquet) parce que chaque paquet suivant serait traité sans délai. Cependant, avec une taille de paquet de 80, à moins que vous n'ayez un très grand nombre d'e-mails, il n'y aura pas beaucoup d'itérations, ce qui ne posera probablement jamais de problème.

J'ai du mettre ce paramètre à "0" lorsque j'ai abandonné le SMTP de Gmail pour basculer sur celui de l'hébergeur, et je ne sais plus pourquoi j'ai changé de "2" à "0".

Par défaut, sur une nouvelle installation de phpBB 3.3.10 ce paramètre est réglé à "20". Je vais d'ailleurs régler ce paramètre à "20", sur le forum ligne.

Voila, je sais maintenant d'où provient ce temps d'attente de l'ordre de 35 s dans les forums, particulièrement ceux qui ont des mails de surveillance de messages ou posts demandés par les membres.

Bonne journée

Bernard