1. 孕妇：红豆芡实薏仁茶具有一定的促进血液循环和消除水肿的功效，但在孕期不宜饮用，以免影响胎儿的正常发育。

2. 低血压患者：红豆芡实薏仁茶能够扩张血管，降低血压，因此低血压患者应慎重饮用。

3. 患有消化道溃疡、胃酸过多等疾病的人群：红豆芡实薏仁茶的味道偏酸，长期饮用可能会刺激胃壁，加重消化道疾病的病情。

4. 风寒感冒患者：红豆芡实薏仁茶具有清热解毒的功效，但由于其中含有寒凉的成分，风寒感冒的患者不宜饮用，以免病情加重。

5. 药物治疗期间：由于红豆芡实薏仁茶在一定程度上能够降低血糖、血压、血脂等指标，与部分药品可能会产生相互作用，因此药物治疗期间不宜饮用。