Simone信息增益（Kullback–Leibler divergence）又叫做information divergence，relative entropy 或者KLIC。
在概率论和信息论中，信息增益是非对称的，用以度量两种概桐亏让率分布P和Q的差异局局。信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。Q代表一种理论，模型，描述或者对P的近似。
扩展资料：
信息增益相关延伸：增益
一般指对元器件、电路、设备或系统，其电流、电压或功率增加的程度，以分贝(dB)数来规定，即增益的单位一般是分贝（dB），是一个相对值。电子学上常使用对数单位量度增益，并以贝（bel）作为单位：
Gain = log10(P2/P1) bel
其中P1与P2分别为输入及输出的功率。
由于增益的数值通常都很大，因此一般都使用分贝（dB，贝的10分之1）来表示：
Gain = 10×log10(P2/P1) dB
这就是增益的绝对值与空高相对值分贝之间的关系。
参考资料来源：百度百科-增益
参考资料来源：百度百科-信息增益
