Perpustakaan Umum Kabupaten Kudus berdiri sejak tahun 1974, berupa Taman Baca Masyarakat yang didirikan atas bantuan swasta yang pengelolaannya diserahkan kepada Dinas Pendidikan dan Kebudayaan Kabupaten Kudus. Tahun 1984 pengelolaan Taman Baca Masyarakat dialihkan ke Sekretariat Daerah Kabupaten Kudus dan pengelolaannya diserahkan kepada Bagian Hukum dan Ortala ( Organisasi dan Tata Laksana).
Seiring dengan perkembangan fungsi dan tuntutan pelayanan kepada pemustaka, Taman Baca Masyarakat status kelembagaannya diubah menjadi Unit Pelaksana Teknis (UPT) Perpustakaan Umum Daerah. Pada tahun 2003 diterbitkan Peraturan Daerah Nomor 13 Tahun 2003 tentang Struktur Organisasi dan Tata Kerja (SOTK) dan pengelolaan Perpustakaan Umum diserahkan kepada Kantor Penelitian, Pengembangan, Pengelolaan Data Arsip Daerah (LITBANGLAHTASIPDA) sebagai UPT Perpustakaan Umum.
Tahun 2008 diterbitkan Peraturan Daerah Nomor 15 Tahun 2008 tentang Struktur Organisasi dan Tata Kerja (SOTK) sehingga Perpustakaan Umum menjadi Kantor Perpustakaan dan Arsip Daerah Kabupaten Kudus. Pada tahun 2016 Kantor Perpustakaan dan Arsip Daerah Kabupaten Kudus berubah menjadi Dinas Kearsipan dan Perpustakaan Kabupaten Kudus sesuai dengan Peraturan Daerah Nomor 3 Tahun 2016 tentang Pembentukan dan Susunan Perangkat Daerah Kabupaten Kudus dan sesuai dengan Peraturan Bupati Kudus Nomor 29 Tahun 2016 tentang Kedudukan Susunan Organisasi Tugas dan Fungsi Serta Tata Kerja Dinas Daerah Kabupaten Kudus.