李益年轻时就神经过敏，常怀疑妻妾行为不轨，对她们防范得很严密。传说他外出时，常把妻妾锁在房内，还在门口撒上灰，以便察看她们是否私自行动。世人把妒忌妻妾的行为，称作“李益疾”。因此，他的官职很久未得到提升。