SMK Muhammadiyah 2 Jakarta berdiri pada tahun 1987 dengan nama SMEA Muhammadiyah 2 Jakarta. SMEA Muhammadiyah 2 Jakarta saat itu memiliki 2 Program Keahlian yaitu Akuntansi dan Perkantoran.
SMEA Muhammadiyah 2 Jakarta didirikan untuk memenuhi kebutuhan masyarakat Tanah Abang dan sekitarnya dalam bidang pendidikan kejuruan yang siap kerja dan sekolah bercirikan Islam.
Seiring dengan perkembangan kurikulum dan kebutuhan dunia kerja/dunia industri maka dibuka satu Program Keahlian lagi yaitu Pemasaran sehingga menjadi tiga jurusan yaitu Akuntansi, Manajemen Perkantoran, dan Bisnis Daring. Sejak tahun 2000 Nama SMEA Muhammadiyah 2 Jakarta berubah menjadi SMK Muhammadiyah 2 Jakarta.
Untuk mempopulerkan SMK Muhammadiyah 2 Jakarta diberikan nama SMK MADU, Muhammadiyah 2 disingkat MADU, juga bisa diartikan Mandiri, Andal, Disiplin, dan Unggul sebagai moto SMK Muhammadiyah 2 Jakarta.
Sampai saat ini sudah meluluskan dengan alumni yang bekerja di berbagai dunia industri dan instansi pemerintah, serta wirausaha.
Mulai tahun 2022 SMK Muhammadiyah 2 Jakarta menggunakan kurikulum merdeka dan menggunakan platform merdeka belajar – merdeka mengajar.