Content

• Preface
• Classical Supervised learning
• BAYES DECISION THEORY
• Support Vector Machines(SVM)
• Linear Discriminant Analysis(LDA)
• quadratic discriminant functions (QDA)
• KNN models
• Naive Bayes models
• case study
• breast cancer
• Iris Data
• Using chemical analysis determine the origin of wines
• Appendix(code source)
• QDA algorithm
• KNN algorithm
• Naive Bayes models algorithm

经典监督学习方法

Supervised learning

本栏所有函数由本人编写，未采用第三方库，打算全部用go语言编写。之所以采用 go语言，一是因为，机器学习算法方面我没有积累，因此是零包袱，可以随便采用什么语言。 另外go语言语法上与c语言比较接近。因此也较为容易翻译成c/c++等语言。 没有采用python编写，因为python已经有很多较为成熟的机器学习框架可以使用，没必要再写一遍。 目前主要开发的软件包括

• mknn
• QDA
• LDA
• 贝叶斯分类器
• 朴素贝叶斯分类器
• 支持向量机数值逼近 (matlab)

算法请自行参考斯坦福等校的机器学习教材。 本栏主要参考的一些书如下

• The Elements of Statistical Learning
• The+nature+of+statistical+learning+theory
• data mining and analysis
• Computer Age Statistical Inference
• All Of Statistics
• Modern Multivariate Statistical Tecqnicues
• 机器学习（周志华）
• Applied Multivariate Statistical
• Pattern.Recognition-Theodoridis,.Koutroumbas（中文版：模式识别）

不同机器学习算法，对不同的场景有各自的优劣性，Hastie和Tibshirani等人对经典算法的性能进行过较为详细的比较分析。 有兴趣可以自行查阅相关文献。