Par Dzelzavas bibliotēkas dibināšanas gadu uzskatāms 1901. gads. Vēsturiskais dibinātājs Dzelzavas pagasta bibliotēkas biedrība. 1915. gadā bibliotēkas biedrībā ir 20 biedri,700 sējumi un 150 lasītāji. Bibliotēka no 1924.- 1939.gadam atradās Dzelzavas muižā, tagadējā pamatskolā.
1937. gadā bibliotēku pārņēma Dzelzavas aizsargu nama biedrība un no 1939.- 1966. gadam bibliotēka atradās Aizsargu namā, tagadējā kultūras namā. Vācu okupācijas laikā bibliotēka tika iznīcināta.
1946. gadā bibliotēka atsāk darbu kultūras namā kā ciema bibliotēka. Te tiek atvēlētas divas telpas ar kopējo platību 47m2. Grāmatu fonds sākumā ir mazs-no 1000-2000 grāmatām, galvenokārt daiļliteratūra.1961. gadā Dzelzavas ciemā nodibinās kolhozs ”Dzelzava”, kurā apvienojās trīs kolhozi („Mičurins”, „Ceļš uz komunismu”, „Tērauds”) un visu bijušo kolhozu bibliotēku grāmatas (1300) nodeva Dzelzavas bibliotēkai.
1966.gada pavasarī bibliotēkas rīcībā kolhozs “Dzelzava” nodod jaunas telpas “Jaunliepiņās”, kur tā atrodas arī šobrīd. Šī ēka no 1949.-1965.gadam kalpojusi par smēdi. Izremontētajās divās telpās izvietoja 8000 grāmatu, trešajā telpā iekārto lasītavu.