Semula Madrasah Aliyah Negeri (MAN) 1 Palembang merupakan Madrasah Aliyah swasta di bawah naungan badan hukum, yaitu Yayasan Pendidikan Madinatul Ulum (YPMU) yang terdiri dari dua tingkatan. Madrasah Isanawiyah dan Madrasah Aliyah yang didirikan pada tanggal 1 Agustus 1961. Pada mulanya, madrasah tersebut diurus oleh beberapa tokoh masyarakat dan alim ulama setempat di kelurahan 35 Ilir Barat II Palembang, kemudian diperluas kepengurusannya setelah Yayasan Madinatul Ulum didirikan.