铁观音茶对一般人来说是安全的，但以下人群应该避免或限制饮用：

1. 有贫血或缺铁病史的人：铁观音茶含有鞣酸等物质，会干扰人体吸收铁质，对于有缺铁病史的人群，应避免饮用过多的铁观音茶。

2. 患有胃病和肠胃道问题的人：鞣酸的存在可能使咖啡因和单宁酸过度刺激胃酸分泌和胃肠黏膜，使胃肠道疼痛症状加剧。

3. 孕妇和哺乳期妇女：铁观音茶中含有一些分解蛋白质的酶，不利于胎儿或婴儿的正常发育和生长，因此不宜饮用。

4. 服用某些药物的人：铁观音茶会影响一些药物的吸收，如头孢类药物、青霉素类药物等，同时与酸性药物一同服用有可能引起药物不良反应。

5. 对咖啡因过敏或敏感的人：铁观音茶中含有咖啡因，可能会引起失眠、头痛、心悸、手颤等不适反应。

因此，以上人群应当在医生的建议下饮用铁观音茶或避免饮用。