雖然前列腺結核的發病在男性生殖系統結核中占第一位，但是早期診斷比較困難，容易被忽視，需要與一些常見病進行鑒別。
(1)與非特異性前列腺炎相鑒別
前列腺結核又稱結核性前列腺炎，其早期臨床癥狀與慢性前列腺炎相同，也可見前列腺液中膿細胞增多，因此臨床上難以區別。常需做尿液結核菌涂片及培養，以及精液和前列腺液的結核菌檢查。應注意的是，對前列腺結核病人做前列腺按摩要慎重，以防引起結核病變擴散，應先做精液結核菌檢查。在應用抗癆治療后方可考慮做前列腺按摩，以進行前列腺液結核菌涂片檢查。
(2)與前列腺癌相鑒別
前列腺結核可引起前列腺增大、有堅硬的結節且固定，不易與前列腺癌區別。實際上，直腸指診時，前列腺癌的腫塊質地較結核更為堅硬，且有大小不等的結節。若癌腫已侵犯至前列腺包膜外，則腫塊固定。如進行血清前列腺特異性抗原、酸性磷酸酶測定及經直腸行前列腺針吸活檢術有助于診斷。
(3)與前列腺結石相鑒別
在X平片上，可見前列腺鈣化影，這可以是前列腺結核的表現，也可以是前列腺結石的表現。但前列腺結核常伴有附睪、輸精管結核，可捫及附睪腫大或輸精管有串珠狀結節病變。再結合前列腺液檢查，二者不難鑒別。