1. 孕妇和哺乳期妇女不宜饮用，因为桂花具有芳香和温热作用，可能会导致胎儿或婴儿过度兴奋，影响正常发育或睡眠。

2. 肝火旺盛或身体过热的人也不宜饮用桂花茶，以免过度刺激身体产生不良反应。

3. 桂花茶可以调节身体内的气血，具有一定的调节作用，但如果身体虚弱或体质较弱的人饮用过多，可能会导致脾胃虚弱，消化不良等不适感。

4. 桂花茶不宜与某些药物一起饮用，以免产生不良反应或干扰药物的功效，例如降压药、利尿剂、心脏药等。

5. 饮用桂花茶应适量，不宜过量。如果出现头晕、口渴、腹泻等不适反应，应停止饮用，并及时就医治疗。