给定一个具体的学习任务，研究人员如何为这个任务确定一个可行的模型结构。给出了各种不同体系结构和不同性能的模型复杂性，研究人员如何从中挑选出最好的模型？这就是模型选择和设计问题。
一般来说，模型的选择和设计是基于两者之间的权衡，预测性能和模型复杂性。
一方面，高精度的预测是学习模型的基本目标。模型应该能够捕获隐藏在模型中的底层模式训练数据和实现预测的精度尽可能高。为了表示大量的知识并获得较高的准确度，一个模型具有较高的表达能力，自由度大，体积大，需要更大训练集。在这个程度上，一个具有更多参数和更高的复杂性是有利的。
另一方面，过于复杂的模型可能很难进行训练，可能会导致不必要的资源消耗，例如存储、计算和时间成本。不必要的资源消耗特别是在实际的大规模应用中，应避免使用。为了这个目标，一个更简单的模型比一个更精确的模型更可取。