Classification - Travail à faire

Mastère ESD - Introduction au Machine Learning

Worldwide Governance Indicators

La banque mondiale fournit un grand nombre de données, dont des indicateurs de gouvernance au niveau mondial (voir ici). Le code ci-dessous importe les données 2019 présentes dans le fichier WGI_Data.csv (que vous devez donc télécharger). Les informations concernant la définition des indicateurs sont les suivantes :

• CC : Control of Corruption
  • Control of Corruption captures perceptions of the extent to which public power is exercised for private gain, including both petty and grand forms of corruption, as well as capture" of the state by elites and private interests. Estimate gives the country's score on the aggregate indicator
• GE : Government Effectiveness
  • Government Effectiveness captures perceptions of the quality of public services, the quality of the civil service and the degree of its independence from political pressures, the quality of policy formulation and implementation, and the credibility of the government's commitment to such policies. Estimate gives the country's score on the aggregate indicator, in units of a standard normal distribution, i.e. ranging from approximately -2.5 to 2.5.
• PV :Political Stability and Absence of Violence/Terrorism
  • Political Stability and Absence of Violence/Terrorism measures perceptions of the likelihood of political instability and/or politically-motivated violence, including terrorism. Estimate gives the country's score on the aggregate indicator, in units of a standard normal distribution, i.e. ranging from approximately -2.5 to 2.5.
• RQ : Regulatory Quality
  • Regulatory Quality captures perceptions of the ability of the government to formulate and implement sound policies and regulations that permit and promote private sector development. Estimate gives the country's score on the aggregate indicator, in units of a standard normal distribution, i.e. ranging from approximately -2.5 to 2.5.
• RL : Rule of Law
  • Rule of Law captures perceptions of the extent to which agents have confidence in and abide by the rules of society, and in particular the quality of contract enforcement, property rights, the police, and the courts, as well as the likelihood of crime and violence. Estimate gives the country's score on the aggregate indicator, in units of a standard normal distribution, i.e. ranging from approximately -2.5 to 2.5.
• VA : Voice and Accountability
  • Voice and Accountability captures perceptions of the extent to which a country's citizens are able to participate in selecting their government, as well as freedom of expression, freedom of association, and a free media. Estimate gives the country's score on the aggregate indicator, in units of a standard normal distribution, i.e. ranging from approximately -2.5 to 2.5.

import pandas

wgi = pandas.read_csv("https://fxjollois.github.io/donnees/WGI/wgi2019.csv")
wgi

	Country	Code	Voice and Accountability	Political Stability and Absence of Violence/Terrorism	Government Effectiveness	Regulatory Quality	Rule of Law	Control of Corruption
0	Aruba	ABW	1.294189	1.357372	1.029933	0.857360	1.263128	1.217238
1	Andorra	ADO	1.139154	1.615139	1.908749	1.228176	1.579939	1.234392
2	Afghanistan	AFG	-0.988032	-2.649407	-1.463875	-1.120555	-1.713527	-1.401076
3	Angola	AGO	-0.777283	-0.311101	-1.117144	-0.893871	-1.054343	-1.054683
4	Anguilla	AIA	NaN	1.367357	0.815824	0.846231	0.355737	1.234392
...	...	...	...	...	...	...	...	...
209	Serbia	SRB	0.026626	-0.091665	0.019079	0.113867	-0.119070	-0.445551
210	South Africa	ZAF	0.670388	-0.217931	0.367380	0.156172	-0.076408	0.084924
211	Congo, Dem. Rep.	ZAR	-1.365966	-1.808007	-1.627429	-1.509667	-1.786088	-1.538931
212	Zambia	ZMB	-0.286199	-0.102216	-0.675215	-0.554269	-0.462069	-0.640345
213	Zimbabwe	ZWE	-1.141875	-0.920179	-1.205337	-1.463199	-1.257009	-1.238796

214 rows × 8 columns

Travail à faire

Vous devez donc réaliser les étapes suivantes :

• Utiliser une CAH (avec Ward) pour chercher un nombre de classes intéressants, et récupérer la partition proposée par la CAH avec ce nombre de classes
• Chercher une partition avec $k$-means, en cherchant le nombre de classes avec $R^2$ et $PseudoF$
• Chercher une partition avec DBSCAN en faisant varier le seuil pour limiter le nombre d'outliers, mais sans avoir trop de classes
• Comparer les trois partitions obtenues (CAH, $k$-means et DBSCAN) :
  • En comparant les centres des classes
  • En projetant les classes sur le premier plan factoriel

Spotify

A partir des données Spotify disponibles sur cette page, nous souhaitons savoir s'il y a des classes qui existent dans ces 35853 chansons. Comme le nombre est assez important, nous allons réaliser une classification hybride.

Etapes à suivre

• Télécharger les données
• Les importer dans python
• Créer un jeu de données comportant uniquement les variables quantitatives suivantes :
  • danceability
  • energy
  • loudness
  • speechiness
  • acousticness
  • instrumentalness
  • liveness
  • valence
  • tempo
  • duration_ms
  • popularity
• Réduiser les données à 100 classes avec $k$-means
• Réaliser une CAH sur ces 100 classes, et estimer le nombre de classes
• Refaire $k$-means avec ce nombre de classes obtenus