虽然人参五宝茶对大部分人来说是安全的，但是以下人群不适合喝：

1.孕妇和哺乳期妇女，由于人参含有活性物质，可以引起子宫收缩和影响胎儿健康，因此不适合妇女饮用。

2.肝病、肾病、高血压等疾病患者，因为人参具有滋补作用，会刺激这些患者的身体，不利于病情治疗。

3.药物过敏者和对人参过敏者不宜饮用，可能会引起过敏反应。

4.感冒病情较重的人不适宜饮用，因为人参五宝茶会刺激人体免疫系统，加重病情。

总之，需要根据个人身体状况和病史情况来选择适合自己的饮品。如果不确定是否适合喝人参五宝茶，最好先咨询医生的意见。