Madrasah Aliyah Negeri (MAN) adalah lembaga pendidikan yang keberadaannya ditetapkan berdasarkan keputusan Menteri Agama yang menetapkan bahwa Madrasah Aliyah adalah Sekolah Menengah Umum (SMU) yang bercirikan Islam yang diselenggarakan oleh Departemen Agama dengan kurikulum sama dengan kurikulum SMU di tambah kurikulum Agama.

Pada awal berdirinya tahun 1968, Madrasah ini bernama Pendidikan Guru Agama (PGA) yang beralamat di jalan Sisingamangaraja Semarang, sekarang tempat tersebut menjadi Kantor Wilayah Kementerian Agama Provinsi Jawa Tengah. Namun pada tanggal 25 April 1990, PGA berpindah ke Jalan Patimura dan pada tahun 1992 PGA N Semarang berpindah lagi ke Jalan Bangetayu Raya, sampai sekarang ini.

Pada tanggal 25April1990 karena telah adanya keputusan menteri seperti tersebut diatas dan adanya tuntutan jaman serta perkembangan yang pesat jalur pendidikan Agama, maka PGA berganti nama menjadi MAN 2 Semarang diresmikan oleh Menteri Agama waktu itu Dr. Tarmizi Taher.

Pergantian pimpinan PGA dan Madrasah dapat diurutkan sebagai berikut :

1. Tahun 1968 – 1969 dipimpin oleh Bapak Sukardi
2. Tahun 1970 – 1973 dipimpin oleh Bapak Muh Syahry Wahyad
3. Tahun 1973 - 1976 dipimpin oleh Bapak Mastachal Ahmad
4. Tahun 1976 - 1977 dipimpin oleh Bapak Sukindar
5. Tahun 1977 - 1984 dipimpin oleh Bapak Subari Mustaq
6. Tahun 1984 - 1990 dipimpin oleh Bapak Ismail
7. Tahun 1990 - 1991 dipimpin oleh Bapak Djumadi(SK Alih Fungsi dari PGA N ke MAN 2 (Tahun 1990))
8. Tahun 1991 - 1993 dipimpin oleh Bapak Warsono (SK Penyelengaaraan MAN 2 Semarang (Tahun 1992))
9. Tahun 1993 - 2000 dipimpin oleh Bapak Rohmat Shofie
10. Tahun 2000 - 2002 dipimpin oleh Bapak Soekarjanto
11. Tahun 2002 - 2006 dipimpin oleh Bapak Haryono
12. Tahun 2007 - 2010 dipimpin oleh Bapak Muhammad Sholeh
13. Tahun 2011 - 2016 dipimpin oleh Bapak Suprapto
14. Tahun 2016 - 2017 dipimpin oleh Bapak Taufik
15. Tahun 2017 - 2022 dipimpin oleh Bapak Saefudin
16. Tahun 2022 - sampai sekarang dipimpin oleh Bapak Junaedi