1. 孕妇：荷叶茶具有散寒、活血化瘀的功效，容易导致子宫收缩、流产或早产等情况，因此孕妇最好不要饮用荷叶茶。

2. 婴幼儿：荷叶茶的成分比较刺激，婴幼儿的肠胃功能较为脆弱，容易引起不适，因此建议婴幼儿不要饮用荷叶茶。

3. 慢性胃病患者：荷叶茶含有较高的鞣酸，容易刺激胃黏膜，使胃酸分泌增加，对慢性胃炎等胃病患者不利。

4. 高血压患者：荷叶茶含有较高的钾元素，可降低血压，但同时也会影响心脏功能，因此高血压患者不适合饮用荷叶茶。

5. 药物过敏者：荷叶茶属于草本茶饮，如果患者有过草本茶饮物过敏经验，应避免饮用荷叶茶。

总之，饮用荷叶茶前应该根据自身情况谨慎选择。若有任何不适应立即停止饮用，建议咨询医生的意见。