最近碰到一些关于模型正则化，以及数据归一化的问题，对于归一化、标准化、中心化、正则化和范数等等概念有点混乱，整理一下，方便以后随时查阅。

是什么？

首先解释一下这几个东西的概念：

  • 归一化：归一化主要是指将数据缩放到（0，1）区间内，或者缩放到（-1，1）内，消除特征（指标）之间量纲与量纲单位的影响，这样特征之间就有可比性了。主要的计算方法有以下几种：

    1. 线性转化

      $y={(x-min)\over(max-min)}$

    2. 对数转化

      $y={log_{10}(x)}$

    3. 反余切函数转化

      $y={arctan(x)*2\over\pi}$

  • 标准化：