3.5.3 Role of Weight-Decay . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.5.4 Vision Transformers Considerations . . . . . . . . . . . . . . . . . . . . 28
3.6 Techniques for High Performance Masked Image Modeling . . . . . . . . . . 29
3.7 Evaluating Your SSL Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.7.1 Evaluation with labels . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.7.2 Evaluation without labels . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.7.3 Going beyond classiﬁcation . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.7.4 Visual Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.8 Speeding up Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.8.1 Distributed Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.8.2 Even Faster Training with FFCV and Other Speedups . . . . . . . . . 36
A Cookbook of Self-Supervised Learning