一般来说，健康人群都可以适量饮用白茶，但以下人群应慎饮或避免饮用：

1. 孕妇和哺乳期女性：孕妇和哺乳期女性应限制饮用白茶，以避免因茶叶中咖啡因及其他生物碱类成份刺激导致宝宝过度兴奋、失眠等不良情况。

2. 患有消化系统疾病者：白茶的咖啡因含量较高，一些消化系统疾病患者容易引起消化不良、胃酸过多等现象，应慎饮或避免饮用。

3. 对茶味敏感者：一些人对茶的气味和味道敏感，可能会引起头痛等不适症状，应适当减少饮用。

4. 引起过敏反应者：白茶中可能会有一些花粉、氨基酸等物质，对过敏体质者可能会引起体内过敏反应，应避免饮用。

5. 患有心血管疾病者：白茶咖啡因含量较高，容易引起心动过速等症状，对心血管疾病患者慎用或避免饮用。