1. 肝脏功能异常或肝病患者，因为豆类和薏米都含有一定的黄酮类物质，肝脏功能不好的人容易出现过敏反应，同时还会增加肝脏负荷。

2. 孕妇和哺乳期妇女，因为赤红豆薏米茶含有一定的豆类及薏米等成分，若量过大或泡得太浓，会引起胎儿或婴儿肠胃不适或过敏等问题。

3. 脾虚体质的人，因为薏米能够令人体产生大量尿液，排出过多的水分会使脾虚体质的人身体内的阳气流失，引起气虚等不良反应。

4. 体内有富贵病症状的人，如肥胖、高血压、糖尿病等人群不适宜食用赤红豆薏米茶，因为这种茶饮料中含有一定的糖分，容易导致这些病症的加剧，从而对身体健康造成危害。

5. 重度痔疮病人，因为豆类食物会增加排便次数和排便量，过多的粪便和粪臭会对痔疮造成更多摩擦和损害。