چهل خانه همانطور که از نامش پیدا است به معنی وجود چهل خانه در این مکان است. گفته می شود که چهل خانه به معنای چله خانه نیز هست که مرتاضان و زاهدان در آن زندگی می کردند.