\section{Synthèse}

Dans cette synthèse nous allons étudier les résultats des techniques étudiées sur différents ensembles de données.\\
Nous avons sélectionné les ensembles de données suivants :
\begin{itemize}
  \item[\textbullet] Balance-Scale % discret mais numerique
  \item[\textbullet] Wine % full continous
  \item[\textbullet] Adult % mixed
  \item[\textbullet] Mushroom
\end{itemize}

%\protect\footnotemark{}
\subsection[Balance-Scale]{Balance-Scale\footnote{\url{http://archive.ics.uci.edu/ml/datasets/Balance+Scale}}}
Cet ensemble de données contient 3 labels : \emph{Left}, \emph{Right} et \emph{Balanced}. Il représente l'état d'une balance à partir de 4 données numériques d'entrées :
\begin{itemize}
  \item[\textbullet] Poids de gauche.
  \item[\textbullet] Distance du poids de gauche.
  \item[\textbullet] Poids de droite.
  \item[\textbullet] Distance du poids de droite.
\end{itemize}
Chacun de ces 4 attributs est un entier compris dans l'intervalle $[\![1, 5 ]\!]$. Il est possible de trouver 100\% de bonne classification en comparant les valeurs de (\emph{left-distance} $\times$ \emph{left-weight}) et (\emph{right-distance} $\times$ \emph{right-weight}).
\\\\
Nous avons sélectionné cet ensemble de donnée car il peut-être utilisé par tous les classifieurs sans modification des données. Les données sont numériques, leur valeur appartenant à l'ensemble ${1, 2, 3, 4, 5}$. Nous pouvons donc aussi bien les considérer comme des valeurs numériques que comme des données symboliques. Voici les résultats obtenus à partir de cet ensemble de données sur différents classifieurs :
\begin{figure}[htbp]
	\begin{center}
		\includegraphics[width=9.5cm]{images/balance}
	\end{center}
\end{figure}\\
Nous constatons tout d'abord que le classifieur naïf bayesien est le plus efficace en terme de pourcentage de classification (devançant de très peu les KNN) mais qu'il lui est très largement supérieur en terme de temps d'exécution (2 dixièmes de seconde contre 8.5 secondes en moyenne).\\
Le classifieur ID3 propose ici de mauvais résultat et un temps d'exécution très superieur à celui du classifieur naïf bayesien. L'algorithme de construction de l'arbre est coûteux, mais la classification est très rapide. On note que l'utilisation du gain-ratio n'influe pas sur le résultat. L'utilisation de l'impureté de Gini en remplacement de l'entropie améliore d'un point le résultat.\\
On constate également que le paramètrage d'un KNN est important, il peut y avoir des variations assez importantes des résultats d'un $K$ à un autre. L'utilisation d'un KNN muni d'une fonction de poids influe peu sur les résultats, mais augmente le temps d'exécution.\\\\
Nous avons trouvé des articles scientifiques utilisant cet ensemble de données. Dans \emph{Bayesian Network Classification with Continuous Attributes: Getting the Best of Both Discretization and Parametric Fitting}\cite{Friedman98bayesiannetwork}, les auteurs proposent différentes techniques et obtiennent les taux de classification principalement compris entre 9,60\% et 13,92\%. Nous constatons que nos classifieurs concurrencent leurs travaux, notamment le naïf bayesien.
\newpage
\subsection[Wine]{Wine\footnote{\url{http://archive.ics.uci.edu/ml/datasets/Wine}}}

L'ensemble de données Wine vise à déterminer l'origine d'un vin à partir de données issues d'analyse chimique. Les labels sont l'origine du vin (3 valeurs possibles) et les 13 attributs ont des valeurs discrètes (flottantes).\\\\
Nous effectuons notre étude à l'aide de classifieurs KNN, et de classifieurs fonctionnant sur des données symboliques (ID3, Naïve Bayesian) en utilisant des méthodes de discrètisation (EFD et EWD).\\
Nous obtenons les résultats suivants :
\begin{figure}[htbp]
	\begin{center}
		\includegraphics[width=11cm]{images/wine}
	\end{center}
\end{figure}\\
Nous effectuons les constatations suivantes :
\begin{itemize}
  \item[\textbullet] Les KNN ont des résultats très décevants.
  \item[\textbullet] Les classifieurs naïfs bayesiens et ID3 ont de bons résultats.
  \item[\textbullet] L'utilisation de variables centrées réduites ne modifie pas les résultats.
  \item[\textbullet] EFD est plus efficace dans ce cas avec un naïf bayesien, et EWD avec ID3.
  \item[\textbullet] Le temps d'execution d'ID3 est supérieur à celui de KNN : l'ensemble de données étant petit (178 individus) le KNN reste rapide alors que la construction de l'arbre ID3 est plus longue.
  \item[\textbullet] Le paramètrage d'ID3 influe sur ses résultats, et parfois Gini améliore, parfois non, de même pour le gain ratio et l'élagage. Les résultats sont variables d'une exécution à une autre, mais sont généralement proches les uns des autres.
\end{itemize}
Cet ensemble de données montre une forte domination du classifieur naïf bayesien : il offre le meilleur taux de bonne classification et est le plus rapide. Il met en avant également la nécessité de trouver le bon paramètrage (algorithme de discrètsation, choix de sa valeur, utilisation ou non de Gini et Gain Ratio).\\\\
Cet ensemble de données a été utilisé dans différents articles.\\
Dans \emph{Editing Training Data for kNN Classifiers with Neural Network Ensemble}\cite{Jiang04editingtraining}, les auteurs modifient les données d'entrée et améliorent considérablement les résultats de KNN, en obtenant de 94 à 96\% de bonne classification. Cette technique utilise un réseau de neurone pour modifier les labels des données.\\
Dans \emph{Error Reduction through Learning Multiple Descriptions}\cite{Ali96errorreduction} les techniques présentées permettent d'améliorer les résultats, obtenant jusqu'à 98.7\% de bonne classification.

\subsection[Adult]{Adult\footnote{\url{http://archive.ics.uci.edu/ml/datasets/Adult}}}
Adult est un ensemble de données qui permet de déterminer les revenus d'une personne à partir de différentes caractéristiques (age, niveau d'étude\ldots{}).\\
L'intérêt de cet ensemble de données réside dans la mixité de ses données :
\begin{itemize}
  \item[\textbullet] Des données symboliques comme l'état matrimonial.
  \item[\textbullet] Des données numériques : age \ldots{}
\end{itemize}
Nous pouvons ainsi examiner :
\begin{itemize}
  \item[\textbullet] KNN avec des techniques de continuousification.
  \item[\textbullet] ID3 et le classifieur Naif Bayesien avec des techniques de discrètisation.
\end{itemize}
L'étude a été réalisée sur seulement 1000 éléments tirés au hasard, en raison du temps de calcul extrêmement important de KNN. Néanmoins, nous avons constaté que les résultats obtenus sur 1000 éléments ou l'ensemble de données complet varie très peu sur ID3 et le classifieur naïf bayesien (moins d'un point)
Nous obtenons les résultats suivants :
\begin{figure}[htbp]
	\begin{center}
		\includegraphics[width=10cm]{images/adult}
	\end{center}
\end{figure}\\

Nous observons une domination du classifieur naïf bayesien sur les autres, KNN étant le moins efficace. Dans le cas de cet ensemble de données, le choix de KNN n'est pas possible : son temps d'exécution est beaucoup trop grand.\\
EFD est légèrement plus efficace avec le naïf bayesien et EWD avec ID3. Du côté des techniques de continuousification, les résultats sont similaires.\\\\
Cet ensemble de données est utilisé dans l'article \emph{Scaling Up the Accuracy of Naive-Bayes Classifiers: a Decision-Tree Hybrid}\cite{Kohavi96scalingup}. Leur technique vise à construire un arbre de décision en utilisant des classifieurs naïfs bayesiens.
Ils obtiennent une amélioration des taux de classification de l'ordre d'un point, mais en divisant par près de 20 le nombre de noeuds de l'arbre.

\subsection[Mushroom]{Mushroom\footnote{\url{http://archive.ics.uci.edu/ml/datasets/Mushroom}}}

Mushroom est un ensemble de données que nous avons déjà utilisé par le passé. Les données sont symboliques, et c'est donc un bon moyen de tester les classifieurs symboliques, et les comparer à KNN avec différentes techniques de continuousification. Nous obtenons les résultats suivants :
\begin{figure}[htbp]
	\begin{center}
		\includegraphics[width=13cm]{images/_continuousification-mushroom}
	\end{center}
\end{figure}
\\Nous voyons ici que toutes les techniques offrent d'excellent résultats. Les différentes techniques de continuousification, à l'exception de la naïve, ont des résultats assez proche pour K valant 1 ou 3.\\
ID3 est ici l'algorithme le plus efficace et est beaucoup plus rapide que les KNN. ID3 est également le seul algorithme qui nous offre souvent 100\% de bonne classification sur cet ensemble de données.

\subsection{Conclusion}
Au cours de ces 3 TP nous avons pu utiliser principalement trois algorithmes de classification :
\begin{itemize}
  \item[\textbullet] KNN.
  \item[\textbullet] Naive Bayesian.
  \item[\textbullet] ID3.
\end{itemize}

De façon générale, le classifieur naïf bayesien propose généralement les meilleurs résultats, en étant le plus rapide. ID3 lui est assez proche en terme de résultat mais est un peu moins performant (de l'ordre de 2 à 3 fois plus lent).\\\\
KNN est un algorithme assez efficace en terme de pourcentage de bonne classification, même sur des données symboliques en utilisant des techniques de continuousification. Il souffre néanmoins d'un très gros défaut : son temps d'exécution devient très vite très grand dès que le nombre d'éléments est grand. Celà le rend inapplicable sur de grands ensembles de données, alors que les deux autres classifieurs offrent d'aussi bon résultats en étant considérablement plus rapide.\\\\
La particularité d'ID3 est qu'il est plus facilement compréhensible par un humain : en affichant l'arbre induit, ou en générant à partir de celui-ci un ensemble de règle, nous pouvons savoir comment s'effectuent chaque classification. On peut ainsi constater quel attribut est le plus discriminant pour un ensemble de données, par exemple dans \emph{Mushroom} l'odeur permet de quasiment tout classifier.\\\\
Nous concluons donc une préférence pour le classifieur naïf bayesien et ID3, et ce y compris sur des données continues. Lors de l'étude d'un nouvel ensemble de données, il est intéressant de comparer les performances des deux pour choisir le meilleur, car ce résultat peu varier d'un ensemble de données à un autre.\\
 Dans le cas de valeurs continues, il faut être attentif au paramètrage des algorithmes de discrètisation, qui peuvent lourdement influencer le résultat.

