Mardiyem lahir di Yogyakarta sekitar tahun 1929. Ayahnya, Irodjoyo, bekerja sebagai abdi dalem kecil dari seorang bangsawan Yogya, yakni KRT (Kanjeng Ratu Tumenggung) Suryataruna. Meski penghasilan ayahnya kecil, keluarga Mardiyem masih tergolong keluarga yang berkecukupan. Sejak kecil Mardiyem tidak merasakan kasih sayang ibu, karena ibunya meninggal ketika melahirkannya pada usia kandungan baru berjalan tujuh bulan. Ia juga tidak sempat mengenal ketiga kakaknya yang telah meninggal lebih dulu. Namun, ia masih memiliki tiga orang kakak yang lain, yaitu Jainem, Kardiyem, dan Ngatini. Mereka, termasuk dirinya, tumbuh dalam asuhan ayahnya. Walaupun demikian, ia merasa bahagia. Ia mendapatkan kebebasan bermain dengan teman laki-laki, padahal saat itu, masyarakat Jawa masih terikat kuat dengan kultur patriarki yang melarang anak perempuan bermain dengan laki-laki atau bertingkah kelaki-lakian, seperti memanjat pohon atau tertawa keras.
Mardiyem sangat senang bermain petak umpetatau lobrok. Di antara teman-temannya, ia menjadi sosok yang disegani. Ayahnya juga mengajarinya bersikap tabah dan prihatin dalam menghadapi kehidupan. Maka, ketika ayahnya meninggal dunia pada saat umurnya baru sepuluh tahun, ia sangat terpukul. Sepeninggal ayahnya, ia diasuh oleh pamannya, seorang haji, Wak Dul namanya. Berbeda dengan sikap ayahnya yang moderat, pamannya amat memegang nilai-nilai luhur dan adat istiadat Jawa. Merasa tak bebas lagi, Mardiyem memutuskan untuk hidup mandiri dengan jalan menjadi abdi dalem di rumah Ndoro Mangun. Majikannya sangat baik karena memberinya kebebasan untuk berlatih menyanyi sesuai kerja. Pada saat inilah ia mengenal Soerip, seorang penyanyi keroncong yang mengajaknya berlatih menyanyi di Notoprajan.
Ketika Mardiyem berusia 13 tahun, saat itulah pendudukan Jepang di Indonesia dimulai. Cita-citanya masih sama, menjadi penyanyi panggung. Ia lalu mendengar bahwa pemerintah Jepang membuka lowongan kerja bagi perempuan untuk dipekerjakan sebagai pelayan restoran dan pemain sandiwara di Borneo (sebutan pulau Kalimantan pada waktu itu). Ia langsung mendaftarkan diri. Mardiyem dengan kepolosan hatinya begitu gembira, terlebih membayangkan dirinya bila telah menjadi seorang penyanyi. Bahkan, di saat pemberangkatan dan selama perjalanan pun, hatinya berbunga-bunga, penuh sukacita. Setibanya di Telawang, sebuah perkampungan di pinggir Kota Banjarmasin (Kalimantan Selatan), Mardiyem dengan 24 orang temannya yang kebanyakan berasal dari Ambarawa, Yogyakarta, segera menempati rumah panjang yang telah disekat menjadi 24 kamar. Rumah panjang itu lebih mirip sebuah barak tentara. Setiap orang menempati sebuah kamar berukuran 7,5 meter persegi dengan perlengkapan sebuah tempat tidur, meja, dan kursi. Kamar Mardiyem sendiri bernomor 11 dan ia mendapat panggilan momoye (penyanyi). Firasat buruk segera menyelimuti Mardiyem. Ia begitu risau membayangkan dirinya dan kawan-kawannya akan dijadikan para pelacur.
"Kala itu saya gelisah dan takut sekali. Malam itu saya tidak dapat tidur dan menangis sepanjang malam. Saya teringat almarhum bapak di kampung halaman. Saya tidak tahu mengapa nasib menjadi seperti ini,” demikian penuturan Mardiyem ketika harus menghadapi kenyataan bahwa cita-citanya sebagai penyanyi yang sebenarnya, kandas. Dua hari kemudian, ia mulai didatangi seorang lelaki Jepang berewokan yang belakangan diketahuinya sebagai pembantu dokter di klinik kesehatan. Lelaki itu merayu dan memaksa Mardiyem untuk melayani nafsu berahinya. Mardiyem telah berupaya untuk melepaskan diri, namun cengkeraman tangan lelaki itu melebihi kekuatannya sebagai perempuan. Dengan kasarnya, lelaki itu merenggut keperawanannya yang selama ini dijaganya, seperti penuturannya, “Dengan sekuat tenaga saya berupaya melawan untuk menghindar. Tetapi, cengkeraman tangan lelaki kekar dan berotot itu semakin kuat. Badan saya sampai terangkat naik ke ujung dipan, bahkan terdorong ke dinding. Saya sedih danrasanya sakit sekali.”
Belum hilang rasa nyeri yang dideritanya, datang lagi lelaki kedua, menyetubuhinya tanpa memberinya kesempatan untuk beristirahat. Ia ingat, satu hari itu ada enam orang yang harus dilayaninya. Akibatnya, ia mengalami pendarahan hebat. Namun, itulah hidup yang harus dijalaninya. Hari-hari selanjutnya, bahkan ia harus melayani 10-15 orang tentara Jepang sekaligus dalam sehari. Para tentara menolak untuk menggunakan kapucis(kondom), maka Mardiyem pun hamil. Ketikacicada (pengelola asrama) mengetahui bahwa dirinya hamil, Mardiyem dipaksa menggugurkan kandungannya dengan cara mengurut perut dengan paksa. Mardiyem menjadi jugun ianfuselama kurun waktu 1943-1945. Ia harus siap melayani siapa pun, baik para tentara maupun sipil Jepang. Dan, ia pun harus siap menerima pukulan dan tendangan sepatu lars apabila mereka tidak puas dengan pelayanannya. Satu kali pernah ia tak sadarkan diri setelah menerima tendangan-tendangan, namun tak seorang pun datang menolong.
