SVM classifiers and heuristics for feature selection
| Thesis title in Czech: | SVM klasifikátory a heuristiky pro selekci příznaků |
|---|---|
| Thesis title in English: | SVM classifiers and heuristics for feature selection |
| Key words: | Strojové Učení, Výběr Příznaků, SVM, Recursive Feature Elimination |
| English key words: | Machine Learning, Feature Selection, SVM, Recursive Feature Elimination |
| Academic year of topic announcement: | 2014/2015 |
| Thesis type: | Bachelor's thesis |
| Thesis language: | angličtina |
| Department: | Institute of Formal and Applied Linguistics (32-UFAL) |
| Supervisor: | RNDr. Martin Holub, Ph.D. |
| Author: | hidden - assigned and confirmed by the Study Dept. |
| Date of registration: | 04.12.2014 |
| Date of assignment: | 08.12.2014 |
| Confirmed by Study dept. on: | 10.12.2014 |
| Date and time of defence: | 02.09.2016 00:00 |
| Date of electronic submission: | 27.07.2016 |
| Date of submission of printed version: | 28.07.2016 |
| Date of proceeded defence: | 02.09.2016 |
| Opponents: | doc. RNDr. Ing. Miloš Kopa, Ph.D. |
| Guidelines |
| Metoda podpůrných vektorů (angl. Support Vector Machines, dále SVM) se často a úspěšně užívá pro trénování klasifikátorů (viz [1], [2]). Předmětem bakalářské práce bude rigorózní matematický popis a analýza metody SVM v souvislosti s heuristikami pro automatickou selekci příznaků ([3], [4], [7]). Cílem práce je analyzovat zejména heuristiku SVM-RFE (z anglického “Recursive Feature Elimination”) popsanou poprvé v [5] a její pozdější modifikaci publikovanou v [6]. Úkolem studenta bude zkoumat výkonnost této heuristiky, její meze, možnosti kombinace s jinými postupy pro selekci příznaků a navrhnout její zlepšení. Student aplikuje SVM-RFE a její modifikace na konkrétní klasifikační úlohu definovanou v rámci projektu disambiguace anglických sloves ([8]) a provede vyhodnocení úspěšnosti klasifikace s použitím dostupných testovacích dat ([8]). Předpokládá se experimentální implementace v prostředí R. |
| References |
| 1. Cristianni, Nello and John Shawe-Taylor. An Introduction to Support Vector Machines and other Kernel-based Learning Methods. Cambridge University Press, 2000.
2. Chang, C.-C. and C.-J. Lin. LIBSVM: a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2:27:1--27:27, 2011. 3. Guyon, Isabelle and Andre Elisseeff: An Introduction to Variable and Feature Selection. Journal of Machine Learning Research, 3 (2003), pp. 1157-1182. 4. Guyon, I., S. Gunn, M. Nikravesh, and L. Zadeh, editors, Feature Extraction, Foundations and Applications. Springer, 2006, vybrané kapitoly 5. Guyon, I., J. Weston, S. Barnhill, and V. Vapnik: Gene Selection for Cancer Classification using Support Vector Machines. Machine Learning, 46, 2002, pp. 389-422. 6. Mouhamadou Lamine Samb, Fodé Camara, Samba Ndiaye, Yahya Slimani, Mohamed Amir Esseghir: A Novel RFE-SVM-based Feature Selection Approach for Classification. In: International Journal of Advanced Science and Technology, Vol. 43, 2012, pp. 27-36. 7. Chang, Y.-W. and C.-J. Lin. Feature Ranking Using Linear SVM. JMLR Workshop and Conference Proceedings: Causation and Prediction Challenge (WCCI 2008) 3(2008), 53-64. 8. Holub, Martin; Kríž, Vincent; Cinková, Silvie; Bick, Eckhard: Tailored Feature Extraction for Lexical Disambiguation of English Verbs Based on Corpus Pattern Analysis. COLING 2012: Proceedings of the 24th International Conference on Computational Linguistics (Coling 2012), Mumbai, India, 2012. |