Pada tahu 1954 semua penduduk pindah lagi ke Wilayah lahan Pertanian atau sawah, yaitu yang jadi Desa Cipajang (Sekarang) otomatis tanah yang subur harus jadi Pemukiman.
Sementaara tanah yang bekas Pemukiman harus di rubah menjadi lahan pertanian sehingga pembangunan Desa Cipajang saat itu sangat tertinggaal di banding dengan Desa Desa lain.
Tetapi warga Desa Cipajang mempunyai Budaya yang Spesifik dalam segi Kesatuan dan Persatuan yang di landasi semangat Gotong- royong berupaya dan mampu mengejar Ketertinggalan dengan Desa lain.
Sampai saat ini kondisi masyarakat Desa Cipajang 42 % mencari nafkah di daerah rantau.
Sehubungan kurangnya lahan Pencaharian, padahal sumber daya alam di areal Desa Cipajang cukup banyak potensi seperti :
Dekat dengan Wisata waduk Malahayu, Sumber mata air untuk lahan Pertanian di hulu sungai Cijolang.
Ada situs Sejarah religi Syekh Manglayang Madu Rasa yang berada di gunung Barang Dukuh Rember Desa Cipajang.
Demikianlah sekilas sejarah asal usul Desa Cipajang Banjarharjo Brebes.***