信息增益是什么意思？
再说说「信息增益」有什么含义、怎么理解？
拼音xìn xī zēng yì
字母xin xi zeng yi
首字母xxzy
注音ㄒㄧㄣˋ ㄒㄧ ㄗㄥ ㄧˋ
注音符号ㄒㄧㄣ ㄒㄧ ㄗㄥ ㄧ
信息增益（Kullback–Leibler divergence）又叫做information divergence，relative entropy 或者KLIC。在概率论和信息论中，信息增益是非对称的，用以度量两种概率分布P和Q的差异。信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。Q代表一种理论，模型，描述或者对P的近似。