Web data

Aucun pré-requis sauf des notions de mathématiques basiques.

Le cours nécessite d'avoir un ordinateur portable sur lequel Python peut être installé (gratuit).

Ce cours est une introduction à la collecte, au traitement et à l'analyse des données en Python. Ce cours ne nécessite aucun pré-requis sauf des notions de mathématiques basiques.

Dans un premier temps, nous présenterons les concepts de base en programmation, à savoir la création de variables, les conditions et les boucles. Dans une seconde partie, nous présenterons les principales structures de données intégrées à Python telles que les listes et les dictionnaires qui permettent de structurer des données. Nous verrons également comment ouvrir, lire, écrire et sauvegarder des objets ou structures de données dans des fichiers. Dans une troisième partie, nous verrons comment traiter, fusionner et analyser des bases de données dans différents formats. Enfin, dans une quatrième partie, nous présenterons des méthodes de collecte de données sur internet via du web scraping et l'utilisation des API web.

Différents modules seront utilisés. En particulier:
- pandas qui permet la manipulation et l'analyse des données. Ce module propose en particulier des structures de données et des opérations de manipulation de tableaux numériques
- matplotlib qui permet de tracer et visualiser des données sous forme de graphiques
- numpy qui permet de manipuler des matrices ou tableaux multidimensionnels ainsi que des fonctions mathématiques opérant sur ces tableaux
- requests qui permet d’effectuer programmatiquement des requêtes HTTP (comme celles que fait un navigateur)
- re qui permet de travailler sur les expressions régulières qui sont utilisées pour la lecture, la modification, la manipulation et l'analyse de textes