香山港是清朝時期兩岸之間的貿易港口,商賈船隻來往頻繁,當地居民也多以航海捕魚為主要經濟活動,而靠海維生的居民大多信奉媽祖,因此於明朝鄭成功時期(西元1661年)興建了香山天后宮,並且於清乾隆三十五年(西元1770年)進行重要的修建工程,其後也經歷過多次修建,可見天后宮的歷史悠久香火鼎盛,為當地居民傳統的信仰中心。
香山天后宮與基隆、
台南的天后宮為台灣最古老的三大媽祖廟,香山天后宮有著特殊的石頭牆外觀以及八角紅地磚,原被評定國家二級古蹟,廟方人員因地磚老舊而改鋪磨石地,失去二級古蹟的資格,但前來謁拜的信徒人潮絲毫不減。