Lebih dari satu abad yang lalu, cikal bakal Yayasan Baitul Muttaqiin Sumberagung berawal dari sebuah musholla kecil yang didirikan oleh Mbah Hasan Murawi di Dusun Sumberagung. Musholla ini berdiri di atas tanah wakaf seluas 16 ru, yang kemudian diperluas dengan wakaf tambahan dari Mbah Mustomo dan Mbah Mustamin. Selanjutnya, pada 1971 musholla ini dibongkar dan dibangun kembali oleh Mbah Mustomo menjadi sebuah masjid, yang diberi nama Masjid Jami’.

Pada tahun 2000, masjid diperluas dengan tambahan tanah wakaf dari keluarga Mbah Mustomo dan dana swadaya masyarakat, dengan total anggaran lebih dari Rp150 juta. Dalam proses ini, Almarhum Bapak Imam Muhayat Syah memberikan kontribusi terbesar, mencapai 25% dari total biaya pembangunan. Saat itu, Bapak Sudigno, selaku Ketua Takmir, memberikan nama baru untuk masjid ini: Baitul Muttaqiin, yang berarti "rumah bagi orang-orang yang bertakwa".