Penubuhan Kolej Agama Sultan Zainal Abidin (KUSZA) bermula dengan persetujuan yang telah dicapai dalam Majlis Mesyuarat Kerajaan Negeri Terengganu pada 17 Ogos 1978 bagi menubuhkan sebuah institusi Pengajian Tinggi Islam dengan nama KUSZA.

KUSZA ditubuhkan bertujuan untuk meningkatkan taraf pendidikan agama, khususnya kepada rakyat negeri Terangganu serta melaksanakan sistem pendidikan Islam yang lebih sistematik serta melahirkan tenaga kerja di peringkat separa ikhtisas yang diperlukan oleh sektor awam dan swasta.

Sejarah asrama (nama kolej kediaman mula digunapakai pada tahun 2013) bermula pada 24 April 1981 seiring dengan penempatan sementara KUSZA di sebuah bangunan rumah kedai di Jalan Hiliran, Pulau Kambing. Pihak pengurusan KUSZA telah melantik Puan Fatimah Omar bagi menyelia urusan penginapan pelajar pada masa itu.

Setelah perletakkan batu asasnya oleh Almarhun Sultan Mahmud Al Muktafi Billah Shah pada 17 Mac 1981, KUSZA telah berpindah ke kampus tetap di Gong Badak seluas 144 hektar pada akhir Disember 1982. Sebanyak 22 buah bangunan asrama telah disediakan bagi menempatkan pelajar yang diterima masuk meneruskan pengajian di KUSZA.

Pada 1 Januari 2006, KUSZA secara rasminya telah dinaiktaraf kepada Universiti Darul Iman (UDM). Empat blok bangunan telah disewa di luar kampus di Kampung Tok Jembal dan Kampung Wakaf Tengah bagi menampung bilangan pelajar sementara menanti siapnya pembinaan bangunan asrama baru.

Sebuah lagi blok bangunan disewa di Kampung Ladang bagi menempatkan pelajar perubatan dari Kampus Perubatan (dahulunya dikenali sebagai Kampus Kota).

Bagi memberikan lebih keselesaan kepada pelajar menginap di asrama, sebanyak 17 buah bangunan asrama baru berkonsepkan apartment telah dibina bersebelahan bangunan asrama lama.

Serentak dengan itu juga, pengurusan asrama telah dijenamakan kembali kepada Unit Perumahan dan Kebajikan Pelajar (UPKP) dan telah diletakkan dibawah pentadbiran Dekan Hal Ehwal Pelajar & Alumni.

Apabila nama UDM ditukarkan kepada Universiti Sultan Zainal Abidin (UniSZA) pada 14 Mei 2010, tiga buah lagi blok bangunan asrama telah dibina dan siap sepenuhnya pada 2013 seiring dengan pembukaan kampus baru di Besut.

Pada tahun 2013 juga, UPKP telah dinaiktaraf kepada sebuah Pusat Tanggungjawab (PTj) dan dikenali sebagai Pejabat Kolej Kediaman UniSZA. Jawatan pengarah telah diwujudkan bagi mengapai misi untuk memacu dan meletakkan kolej kediaman setanding atau setaraf dengan kolej-kolej kediaman universiti tersohor di dunia tetapi dalam acuan Malaysia.

Pada bulan April 2019, selaras dengan matlamat untuk menyediakan tempat penginapan yang selesa dan persekitaran yang sihat, pengurusan tertinggi UniSZA telah membuat keputusan untuk menyatukan Kolej Kediaman dan Pusat Kesihatan Pelajar sebagai sebuah PTj dan dikenali sebagai Kolej Kediaman dan Kesihatan Pelajar UniSZA.