ถ้ำซับมืดถูกพบในปีพ.ศ. 2478 โดยเริ่มแรกนั้นชาวบ้านได้บุกเบิกพื้นที่เพื่อทำการเกษตร ได้พบถ้ำที่มีความมืดครึ้มตลอดทั้งวัน มีน้ำซับ (น้ำผุด) จากแอ่งหิน ชาวบ้านที่มาทำไร่ได้อาศัยใช้สอยดื่มกิน จึงเรียกบริเวณนี้ว่า ถ้ำซับมืด
ต่อมาในปีพ.ศ. 2480 หลวงปู่สีลา อิสฺสโร ศิษย์อาวุโสรูปหนึ่งของท่านพระอาจารย์มั่น ภูริทตฺโต เดินทางธุดงค์มายังปากช่อง ได้พบถ้ำซับมืด จึงหยุดพักปักกลด และบำเพ็ญภาวนาอยู่ที่ถ้ำแห่งนี้ ชาวบ้านเกิดความศรัทธา จึงได้นิมนต์ท่านอยู่จำพรรษา ถวายที่ดินให้เป็นที่พักสงฆ์
กระทั่งปี พ.ศ. 2498 พระครูญาณโศภิต (มี ญาณมุนี) วัดป่าสูงเนิน อ.สูงเนิน จ.นครราชสีมา พระอาจารย์ใหญ่ของหลวงพ่อสีลา อิสฺสริโก หลวงพ่อทา จารุธมฺโม หลวงพ่อสุพิน ปภสฺสโร หลวงพ่อสุพีร์ สุสญฺญโม ได้มาอยู่จำพรรษาอบรมชาวบ้าน และพัฒนาวัดเรื่อยมา