Bienvenue sur IndexError.

Ici vous pouvez poser des questions sur Python et le Framework Django.

Mais aussi sur les technos front comme React, Angular, Typescript et Javascript en général.

Consultez la FAQ pour améliorer vos chances d'avoir des réponses à vos questions.

asyncio: tuto le plus à jour pour faire un crawler async

+3 votes

Bon, ça fait quelques années que asyncio a été intégré Python. Chaque année, ça change, les bonnes pratiques changent, l'async évolue et normalement ,devrait devenir plus simple.

Le truc, c'est que c'est impossible de savoir où on en est. Si je prends un tuto au hasard sur google, comment savoir s'il a été écrit en prenant en compte les dernières avancées?

Donc voilà je viens vous demander votre aide. Je cherche un tuto à jour sur asyncio. Plus particulièrement, je cherche un tuto qui explique comment faire des requetes web toutes simples. L'idée, c'est que je crée une liste de liens (pour télécharger des fichiers par exemple).

Ensuite, je voudrais lancer un requests.get sur chacun des liens dans la liste de manière asynchrone. Quand la page est téléchargée, je ferai un truc. Rien de compliqué, rien de fancy. Je suis prêt à installer une lib tierce partie si ça me simplifie la vie. Non, je ne veux pas utiliser Scrapy ou autre crawler tout fait.

demandé 18-Mai par Rififi (532 points)

question intéressante.
je profite pour poster ce lien sympa:
https://www.scrapehero.com/web-scraping-tutorials/

si t'as des bouts de codes sympas à partager, n' hésites surtout pas je suis preneur.
mets ça sur MEGA ou autre du même style...

Votre réponse

Preview

Votre nom à afficher ( en option ):
Vie privée: . Votre adresse de messagerie ne sera utilisée que pour l'envoi de ces notifications .
Vérification anti -spam:
Pour éviter cette vérification à l'avenir, Connectez vous ou inscrivez vous.
...