Le robot Trend47Bot
Trend47Bot est le robot d'exploration de Trend47. Il visite des boutiques en ligne et des places de marché publiques pour relever les annonces de produits : prix, disponibilité et évolution dans le temps.
Comment le reconnaître
Il s'annonce toujours avec cet en-tête User-Agent :
Trend47Bot/0.1 (+https://trend47.com/bot; bot@trend47.com)Ce qu'il relève
- Le titre, la catégorie et la description des annonces de produits.
- Le prix et la disponibilité affichés.
- Le nombre de vues, quand le site l'affiche publiquement.
- Les photos des annonces de vendeurs professionnels, en miniature.
Ce qu'il ne relève pas
- Rien de ce qui se trouve derrière une connexion, un formulaire ou un paiement.
- Les coordonnées : numéros de téléphone, e-mails, liens WhatsApp ou Telegram sont retirés des descriptions avant enregistrement.
- Les photos publiées par des particuliers.
- L'identité des vendeurs particuliers : ils sont désignés par un identifiant chiffré, sans nom ni lien vers leur profil.
Comment il se comporte
- Il lit et respecte le fichier robots.txt de chaque site (RFC 9309), y compris la directive Crawl-delay.
- Si le robots.txt est inaccessible à cause d'une erreur du serveur, il ne visite aucune page.
- Il demande au plus une page toutes les 2 secondes par site, souvent moins.
- Il ralentit dès qu'un site répond par une erreur 429 ou 5xx.
- Il reste sur le site visité et ne contourne aucune protection d'accès.
Bloquer Trend47Bot
Ajoutez ces lignes au fichier robots.txt de votre site. Le robot en tient compte dans les 24 heures.
User-agent: Trend47Bot
Disallow: /Pour n'exclure qu'une partie du site, remplacez / par le chemin concerné, par exemple /compte/.
Nous contacter
Une question, une demande de retrait d'une photo ou un souci avec le robot : écrivez à bot@trend47.com.