Última alteração: 2021-02-25
Resumo
As técnicas de redução de dimensionalidade são cruciais para aplicações de reconhecimento de padrões modernas devido a enorme complexidade dos conjuntos de dados encontrados nos mais diversos domínios da ciência. Se por um lado o aumento na quantidade de amostras é benéfico em tarefas de aprendizado de máquina, um aumento arbitrário no número de atributos é frequentemente acompanhado por uma série de efeitos negativos, ao que se denomina a maldição da dimensionalidade.
Sendo assim, esse projeto tem como objetivo comparar métodos lineares Principal Component Analysis (PCA), não lineares, como Kernel PCA, e de aprendizado de variedades: Isometric Feature Mapping (ISOMAP) e Locally Linear Embedding (LLE) na redução de dimensionalidade em problemas de classificação supervisionada.
A metodologia proposta adotou a base MNIST (Modified National Institute of Standards and Technology database), que contém imagens preto e branco de dígitos numéricos escritos à mão.
Assim, foram feitos diversos experimentos utilizando os classificadores supervisionados k-Nearest Neighbors (KNN) e Support Vector Machine (SVM), além de utilizar como métrica quantitativa para análise de resultados o coeficiente Kappa, para aferir a acurácia do reconhecimento e prover uma comparação quantitativa e objetiva da capacidade discriminantes dos atributos aprendidos.
Assim, para cada redução de dimensionalidade foram escolhidas 500 amostras da base de dados, sendo 50% delas usadas para treino e 50% para teste, e então estas amostras foram reduzidas de 784 dimensões para entre 2 e 10 dimensões.
Com a redução de dimensionalidade de duas dimensões, foram elaborados gráficos para que estes valores pudessem ser visualizados e analisados, e com todos os resultados foram elaborados gráficos, que por sua vez permitiram uma comparação entre os resultados obtidos, com relação ao tipo de classificador e aos métodos de redução de dimensionalidade.
Ao comparar os resultados por classificador supervisionado, conclui-se que o KNN obteve melhores resultados, principalmente ao reduzir as amostras para maiores dimensões. Apesar disso, quanto aos tipos de redução de dimensionalidade, nota-se que, no caso do classificador KNN, a redução de dimensionalidade por ISOMAP é mais efetiva e para o LLE tem os piores resultados, enquanto que para o classificador SVM, a redução de dimensionalidade linear, por PCA, obteve melhores resultados, e o Kernel PCA obteve os piores resultados.
Assim, pode-se concluir que os métodos de redução de dimensionalidade tem variação de desempenho de acordo com o classificador utilizado nele, portanto não se pode determinar qual o melhor método de redução de dimensionalidade para todos os casos, deve-se analisar o caso anteriormente.
Palavras-chave
Referências
[1] M. A. Carreira-Perpinan, A Review of Dimension Reduction Techniques, tech. rep., University of Sheffield, 1997.
[2] R. O. Duda, P. E. Hart and D. G. Stork, Pattern Classification, 2 ed. Wiley-Interscience, 2000.
[3] K. Fukunaga, Introduction to Statistical Pattern Recognition, Academic Press, 1990.
[4] L. O. Jimenes and D. Landgrebe, Supervised classification in high dimensional space: Geometrical, statistical and asymptotical properties of multivariate data, IEEE Trans. on Systems, Man and Cybernetics 28(1) (1998) 39–54.
[5] G. F. Hughes, On the mean accuracy of statistical pattern recognizers, IEEE Trans. on Information Theory 14 (1968) 55–63.
[6] J. P. Cunningham and Z. Ghahramani, Linear dimensionality reduction: Survey, insights, and generalizations, Journal of Machine Learning Research 16 (2015) 2859–2900.
[7] I. T. Jolliffe, Principal Component Analysis, 2 edn. Springer, 2002.
[8] T. Y. Young and T. W. Calvert, Classification, Estimation and Pattern Recognition, Elsevier, 1974.
[9] T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning, 2 edn., Springer, 2009.
[10] B. Schlkopf, A. Smola and K. R. Mller, Nonlinear component analysis as a kernel
eigenvalue problem, Neural Computation, v. 10, n. 5, 1998, 1299–1319.
[11] B. Schlkopf, A. Smola and K. R. Mller, Kernel principal component analysis, in Advances in Kernel Methods Support Vector Learning, MIT Press, 1999, pp. 327–352.
[12] J. B. Tenenbaum, V. de Silva and J. C. Langford, A global geometric framework for nonlinear dimensionality reduction, Science, v. 290, 2000, 2319–2323.
[13] S. Roweis and L. Saul, Nonlinear dimensionality reduction by locally linear embedding, Science, v. 290, 2000, 2323–2326.
[14] L. Saul and S. Roweis, Think globally, fit locally: Unsupervised learning of low dimensional manifolds, Journal of Machine Learning Research, vol. 4, 2003, 119–155.
[15] A. R. Webb and K. D. Copsey, Statistical Pattern Recognition, 3 edn., Wiley, 2011.
[16] V. N. Vapnik, The Nature of Statistical Learning Theory, Springer-Verlag, 1993.
[17] A. C. Lorena e A. C. P. L. F de Carvalho, Introdução às máquinas de vetores de suporte, Relatório técnico n. 192, ICMC, 2003.
[18] Marti A. Hearst, Support Vector Machines, IEEE Intelligent Systems, v. 13, n. 4, 1998.
[19] Cohen, J., A coefficient of agreement for nominal scales. Educational and Psychological Measurement. v. 20, n. 1, 1960, pp. 37–46
[20] Russell G. Congalton, A review of assessing the accuracy of classifications of remotely sensed data, Remote Sensing of Environment, v. 37, n. 1, 1991.
[21]COVER, T.; HART, P. Nearest neighbor pattern classification. IEEE Transactions on Information Theory, 13(1):21–27, 1967.
[22]SANTOS, Fernando Chagas et al. Variações do método kNN e suas aplicações na classificação automática de textos. 2010.
[23] SILVA, Rebeca de Souza; PAES, Ângela Tavares. Por Dentro da Estatística: teste de concordância de Kappa. Educ Contin Saúde Einstein, v. 10, n. 4, p. 165-6, 2012.