Первая библиотека в Гомеле, о которой сохранились сведения, была основана в начале 19 века графом Н.П. Румянцевым. Библиотека содержала не только печатные книги русских и европейских авторов, но и редкие манускрипты и книги по философии, искусству и истории. Фонд библиотеки составляли 6 тысяч экземпляров. На основании этих книг была создана библиотека в Румянцевском музее Петербурга, перевезенная позднее в Москву.
Начиная со второй половины 19 века, в Гомеле при многих учебных заведениях открывают фундаментальные и ученические библиотеки. Например, шестиклассная мужская гимназия имела свою фундаментальную библиотеку. В конце 19 века в ней насчитывалось более 6,2 тыс. экземпляров художественных и научных книг. Кроме библиотеки мужской гимназии, в это же время в городе функционировали еще 9 библиотек: при Петропавловском соборе, управлении Либаво-Роменской железной дороги, чайной попечительства о народной трезвости, частные библиотеки - Ш.М. Захарина и библиотека-читальня, библиотека Гомельского комитета РСДРП, общественная библиотека при городской думе, городская библиотека-читальня им. Гоголя, библиотека Общества распространения евреев в России. Практически все библиотеки создавали печатные каталоги своих книг.
После Октябрьской революции Гомельский отдел народного образования взял в свое ведомство все частные библиотеки. В 1919 году на их основе открыли Центральную городскую библиотеку им. Герцена, которая менее чем за год получила 8,9 тыс. читателей. В 1921 году в ней создано детское отделение.
В 1927 году в городе 14 было крупных и средних библиотек: 2 государсвенно-массовые, 9 профсоюзных, ж.-д. школьно-педагогическая, беспризорных при клубе им. Крупской, общества кустарей Дер-Эмес. Кроме публичных библиотек существовали и библиотеки при предприятиях для своих работников.
К 1939 году число массовых библиотек Гомеля составило 16. С 1950-го года количество библиотек начало возрастать. В 1990 году их было уже 209, среди них массовые, технические, школьные, вузовские, профсоюзные и др.
Сейчас крупнейшая массовая библиотека города – библиотека им. Ленина. Под крышей этого большого здания располагается не только библиотека и книгохранилище, действуют здесь читальный зал и музей редкой книги, проходят различные тематические выставки и встречи, открыт пункт аудио и видеопроката.
В 2009 году планируется объединить все библиотеки Гомеля в единую компьютерную сеть, для удобства обслуживания читателей.