儘管飲茶的好處被人們熟知，但並非每個人都適合飲茶，對於一些特殊人群和個體來說，應謹慎飲茶，尤其是飲濃茶。這些人如果長期飲茶且不注意飲用量和飲用時間，非但沒有益處，還可能會損害身體健康。下列人群應不用或慎用:
神經衰弱者：不宜在睡前飲濃茶；
嚴重心臟病及高血壓病人：不宜過量飲茶和飲用濃茶，否則會加重心臟負擔。此類人群建議飲用普洱熟茶、黑茶之類的重發酵茶，其興奮作用較小，對降血壓也有有一定效果。
潰瘍病患者：茶葉中的茶鹼會抑制胃內磷酸二脂酶的活性，從而使胃壁細胞分泌大量胃酸，胃酸過多易影響潰瘍的癒合。因此大量飲茶尤其濃茶，會使胃酸分泌增加，影響潰瘍面癒合，加重病情；
貧血病人:茶中鞣酸可與蛋白質和鐵結合產生沉澱，不易被人體吸收，從而加重貧血；
發熱患者: 茶鹼有興奮中樞神經、加強血液迴圈及加速心跳的作用，使血壓升高。而且，鞣酸有收斂的作用，會直接影響汗液的排出，會使體溫更快上升，降低解熱藥的功效；
服用某些藥物者:服用洋地黃類、鐵劑、中成藥補品、胃蛋白酶或多酶片時忌飲茶。
兒童不宜飲濃茶：兒童可以適量飲茶，但不宜飲濃茶。一般主張兒童飲一些淡茶，通過飲茶，可以補充一些維生素和鉀、鋅等礦物質營養成分；兒童適量飲茶，可以加強胃腸蠕動，幫助消化；飲茶有清熱、降火的功效，避免兒童大便幹結，造成肛裂；茶葉的氟含量較高，飲茶或用茶水漱口還可以預防齲齒。兒童年幼喜動，注意力難以集中，若適量飲茶可以調節神經系統。茶葉還有利尿、殺菌、消炎等多種作用，因此兒童可以飲茶，只是不宜飲濃茶。因為過濃的茶水中，過量的咖啡因會使心跳加速，會帶來過度的刺激。
孕婦、產婦不要飲茶。茶葉中的鞣酸影響孕婦食物中鐵的吸收，容易導致貧血或營養不良，不同程度地影響胎兒的發育。而哺乳期產婦飲茶，因茶葉中某些物質具有一定的抑制乳汁分泌的作用，會導致乳汁減少。
小貼士：喝茶要看體質，中醫認為人的體質有燥熱、虛寒之別，而茶葉經過不同的製作工藝也有涼性及溫性之分，所以體質各異飲茶也有講究。
只要我們在日常生活中注意科學飲茶，除弊興利，就能有效發揮“茶保健”的應有功能，從而，使飲茶這一日常生活的良好習慣，產生積極的保健作用。