小孩體溫37.5℃是否算發燒要根據測量部位來判斷，測量部位包括腋下、直腸和口腔，其中腋下和口腔溫度37.5℃不正常，屬于發燒，而直腸溫度37.5℃是正常的。

一、腋下溫度：正常腋下溫度在36～37℃之間，一旦超過37.3℃就屬于異常情況，所以小孩腋下體溫37.5℃是不正常的，可認定為發燒。

二、直腸溫度：直腸溫度的正常范圍是36.5～37.7℃，37.5℃在此范圍內，屬于正常體溫，但仍需密切觀察，可間隔一段時間多次進行測試。

三、口腔溫度：正常口腔溫度是36.3～37.2℃，37.5℃顯然超出此范圍，屬于異常體溫，處于低燒狀態。

如果是通過腋下以及口腔測量得出上述體溫，建議先采取物理降溫的方法來控制體溫，如果體溫無法得到有效控制，或者出現持續上升而不降低的現象，應及時就醫以明確病因。

總之，對于小孩37.5℃的體溫情況，要結合測量部位來準確判斷，并根據具體情況采取相應措施。