南阳市图书馆创建渊源于1924年1月(民国十三年一月),初名为南阳县立第一图书馆(馆舍设于原南阳府文庙大成殿,现位于宛城区新华东路王府饭店院内)。

          1938年(民国二十七年)与南阳县民众教育馆合并,合并后更名为南阳县民众教育馆图书部(馆舍位于现南阳市宛城区新华东路新华苑酒店院内)。

          1948年11月南阳解放,1950年南阳县民众教育馆改称为南阳市人民教育馆,南阳县民众教育馆图书部更名为南阳市人民教育馆图书组。1956年5月南阳市是河南省文化局首批报请省委省政府批准成立的全省六家城市公共图书馆之一,批准决定在南阳市成立南阳市图书馆,标志着新中国成立后南阳市第一家公共图书馆正式诞生(其馆址位于南阳市宛城区解放路529号)。

          原南阳市图书馆1964年南阳市图书馆又与南阳市文化馆合并,南阳市图书馆被更名为南阳市文化馆图书室。1973年再次恢复独立建制,再次更名为南阳市图书馆,重建搬迁至新馆(馆址位于现宛城区新华东路69号南阳市图书馆职工家属东院)。

          改革开放后南阳市卧龙区工业南路93巷55号的现馆舍,1985年5月由撤地设市前的原中共南阳市委、市政府决定筹建,建成启用于1989年3月,建筑面积5370平米,占地15亩。1994年10月南阳撤地设市,南阳市图书馆升格为地市级公共图书馆。2012年6月南阳市编制委员会将南阳市科技图书馆(由撤地设市前的原南阳县图书馆升格为地市级公共图书馆更名而来)撤销并入南阳市图书馆,人员编制合并,图书馆规格不变。进入新世纪,南阳市图书馆更进入了一个新的发展时期,馆藏与服务项目的增加急需扩大馆舍面积。

          现南阳市图书馆2014年南阳市委、市政府决定筹建南阳市标志性文化设施工程“三馆一院”(市图书馆、市博物馆、市文化馆、市大剧院),新馆址位于南阳市光武大桥以东光武东路北侧,建筑面积约36000平方米。新馆毗邻白河湿地公园自然景区,处在老城区与新城区的交汇处,整个建筑造型简洁、流畅、新颖、庄重,彰显了中国传统文化“楚风汉韵”的人文精神,高度浓缩、整合了南阳城市的文化资源,展示了南阳市文化建设的新风貌。