Contents
1 Tutorial Setup and Installation 2
1.1 Python Prerequisites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 Tutorial Files . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 Download the datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2 Machine Learning 101: General Concepts 5
2.1 Features and feature extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Supervised Learning, Unsupervised Learning, and scikit-learn syntax . . . . . . . . . . . . . 8
2.3 Supervised Learning: model.fit(X, y) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4 Unsupervised Learning: model.fit(X) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.5 Linearly separable data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.6 Hyperparameters, training set, test set and overfitting . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.7 Key takeaway points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3 Machine Learning 102: Practical Advice 24
3.1 Bias, Variance, Over-fitting, and Under-fitting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.2 Cross-Validation and Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.3 Learning Curves . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4 Classification: Learning Labels of Astronomical Sources 30
4.1 Motivation: Why is this Important? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.2 Star-Quasar Classification: Naive Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
5 Regression: Photometric Redshifts of Galaxies 35
5.1 Motivation: Dark Energy, Dark Matter, and the Fate of the Universe . . . . . . . . . . . . . . . . . . 36
5.2 A Simple Method: Decision Tree Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
6 Dimensionality Reduction of Astronomical Spectra 39
6.1 SDSS Spectral Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
6.2 Principal Component Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
6.3 References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
7 Exercises: Taking it a step further 47
i
