1. 孕妇和哺乳期妇女应该避免过量饮用桂花乌龙茶，因为过量的茶叶和咖啡因可能对胎儿或婴儿不利。

2. 患有消化系统疾病的人应该谨慎饮用，茶叶中的鞣酸会刺激肠道，可能会引起腹泻、胃酸反流等问题。

3. 高血压和心脏病患者应该限制饮用桂花乌龙茶，因为茶叶中的咖啡因会使心跳加快，增加血压。

4. 长期饮用高浓度、高温度的桂花乌龙茶可能会对牙齿造成损伤，因此应注意口腔卫生。

5. 对桂花过敏或平时对凉茶过敏的人不宜饮用桂花乌龙茶。