Foglalkozása a peres iratok szerint: sütő segéd

Apja szíjgyártó kisiparos volt, aki emellett két hold földön gazdálkodott. Ifj. Herczegh hat elemi elvégzése után péknek tanult. Egy ideig dolgozott mezőgazdasági munkásként, és részt vett Sztálinváros építésében, majd két éven át katonáskodott. 1952-ben fegyverrejtegetés miatt két év börtönre ítélte a Pécsi Megyei Bíróság, huszonegy hónap letöltése után, 1954-ben szabadult. 1956-ban megnősült, de gyermeke nem született. A forradalom idején péksegédként dolgozott a szülővárosában. Sem tüntetéseken, sem más megmozdulásokban nem vett részt. 1956 decemberében Gyula nevű öccsével egy karabélyt és nagyobb mennyiségű lőszert, valamint öt kézigránátot vittek haza, emellett pedig volt egy pisztolya is – vallomása szerint fegyvermániás volt –, amelyet korábbi ügye során nem koboztak el tőle. Nem sokkal később négy fiatal nemzetőrtől megtudták, hogy a vár falának egyik üregében elrejtettek két géppisztolyt. Ezeket öccsével hazavitték, megtisztították, majd visszatették a rejtekhelyre. A rendőrség 1957. augusztus 21-én, bejelentés alapján házkutatást tartott Herczegéknél. Ennek során lefoglalták a fegyvereket, a két testvért pedig őrizetbe vették. A bejelentő kilétére a Szigetvári Járási Ügyészség 1957. december 28-án kelt feljegyzésből következtethetünk. Eszerint idősebb Herczeg József jelentette fel fiait, de később megpróbálta magára vállalni a bűncselekményt.