高雄文學館建築是由本地建築師陳瑞霖設計，於1954年落成，是戰後
高雄第一棟圖書館，後來總遷址至民生二路80號，於1997-2002年年間轉為
高雄市立圖書館第二總館。
2003年由官方與地方文史工作者共同推動下，轉型並更名為全台首座以城市為名的文學館，並由葉石濤親筆題字，於2004年3月31日重新開館。
因應功能轉型有多次改裝建築本體，但仍保留原始結構與裝飾細節，充分呈現1950年代的建築風格，兼容現代主義與西洋歷史。
高雄市立圖書館原名「
高雄州立民眾教育館」當時館址設於壽山之麓，在二次世界大戰期間，不幸毀於戰火，建築與藏書幾乎成了灰燼，後來經過許多次的搬遷改制，再加上
高雄市人口遞增、發展迅速，因此館藏的書籍已讓館舍無法收納，於是並將民生二路八十號新建之民眾活動中心改為
高雄市立圖書館，並於七十年八月遷入啟用至今，而為了提供市民讀書風氣以及文化素養，目前
高雄市除了
高雄市立圖書館外，尚在其他地區設有社區圖書館及分館，提供民眾閱讀空間。後因2014年前鎮區的新總館開館後，目前僅提供自修室、閱報服務、中興堂展演廳、展覽室，現今館內並無藏書，主要做為辦公用途。