Bangunan itu terdiri dari dua lantai, lantai atas serambi disangga oleh 24 tiang dan lantai bawah 32 tiang. Tiang tersebut tetap berdiri kokoh meski telah berusia 400-500 tahun.
Masjid Gedhe Kauman dibangun di atas tanah seluas 16.000 meter persegi. Di samping bangunan utama, Masjid Gedhe Kauman juga mempunyai bangunan lain dengan fungsinya masing – masing. Bangunan pertama berupa 2 buah pagoan, yang terletak di sebelah utara dan selatan.
Selain itu ada juga 2 pajagan atau tempat berjaga dan pengulon sebagai tempat tinggal para ulama, imam dan juga makam. Ada juga tempat yang digunakan sebagai kantor sekretariat, tempat dewan takmir dan Kantor Urusan Agama (KUA).
Pada bulan Ramadan, masjid ini kerap menyediakan takjil untuk hidangan berbuka yang khas, yakni gulai kambing. Menu ini hanya dibagikan setiap Kamis di bulan ramadan. Konon menu gulai kambing sudah menjadi tradisi sejak masa pemerintahan Sultan Hamengku Buwono VIII sebagai bagian dalam syiar Islam.
Pada masa pandemi seperti sekarang ini, takjil gulai kambing tidak lagi dibagikan di masjid sambil menunggu adzan magrib. Melainkan sudah disiapkan dan dibagikan dalam bentuk bungkusan untuk dinikmati warga sekitar di rumah masing-masing.