Bienvenue sur IndexError.

Ici vous pouvez poser des questions sur Python et le Framework Django.

Mais aussi sur les technos front comme React, Angular, Typescript et Javascript en général.

Consultez la FAQ pour améliorer vos chances d'avoir des réponses à vos questions.

observer / scraper asynchrone de modification d'une page web

0 votes

pour exercice, je voudrai me créer une sorte de popup quand une page précise de sametmax est modifiée, ou bien quand le score de ce topic varie.

quelles sont toutes les étapes ?

Je repére le id de la div, enregistrer son contenu pour comparaison a la prochaine lecture,
Puis-je surveiller en continue sans déclencher un bannissement ni perturber le site ?
Comment le faire poper dans mozilla ou ailleurs ?

Si vous avez un article ou un bout de code qui fait ce genre de job ça m’intéresse, ça peut être utile en analyse financière par exemple.

pour le code de scrape en one shot, voici ma mine d' or:
https://www.scrapehero.com/

demandé 3-Aou par buffalo974 (2,690 points)

Les réponses ne marchent plus, chez moi du moins. J'ai perdu toute ma réponse...

1 Réponse

+1 vote
 
Meilleure réponse

Pas le choix, en l'absence d'API dédiée au notifications, tu dois chercher régulièrement si des modifications ont été apportées (une boucle avec un wait suffit en général amplement). Il faut adapter la fréquence à ton besoin, tout en veillant à ne pas surcharger le service cible.

Il faut prendre en compte le fait que la structure de la page puisse changer, et rester aussi flexible que possible, et éventuellement prévenir si quelque chose cloche.

Afin d’éviter de stocker les contenus qui t’intéresse, tu peux utiliser un hash.

NB: je n'ai pas bien compris si tu prévois de le faire pour des pages ouvertes dans ton navigateur ou pour une liste d'URL. Dans le cas du navigateur, tu peux utiliser les notifications présentes dans les browsers récents.

répondu 5-Aou par yoch (2,506 points)
sélectionné 5-Aou par buffalo974

ce serait en tache de fond. bien vu le hash.

...