Născut în Hanovra, în 1907, Trollmann a fost unul din cei unsprezece membrii ai unei familii de romi şinţi din Germania. De la vârsta de opt ani Trollmann a dovedit un mare talent în ring și reputația sa avea să crească încă din adolescență, când a practicat boxul la CB Eroii Hannover și CB Sparta Hannover-Linden. Remarcat pentru viteza sa, agilitatea și puterea surprinzătoare, Trollmann a devenit cunoscut sub numele de “Rukeli”, care a derivat din cuvântul din limba romani, “Ruk”, copac.
Oponenții săi au fost în imposibilitatea de a-l clătina pe “Rukeli” pe cand era amator, el câştigând patru campionate regionale și campionatul nord german.
În 1928, Trollmann părea destinat pentru a reprezenta Germania la Jocurile Olimpice de la Stockholm, dar oficialii au refuzat participarea sa pe motivul ca are “stilul de culoare galbenă, non-german.”Acest lucru avea să fie prima, dar în nici un caz ultima sa întâlnire cu rasismul. Cu determinare şi tenacitate, Trollmann a devenit profesionist doi ani mai târziu în Berlin demonstrându-şi valoarea în faţa autorităţilor germane din lumea boxului.
Foarte repede abordarea sa dinamică și talentul tehnic i-au adus lui Rukeli valuri de admiratori, dintre care mulți au fost de sex feminin.
În 1932 Trollmann a luptat admirabil în 32 de meciuri, dar în timp ce cota lui în box-office a crescut, a început, în acelaşi timp, să atragă atenția nedorită a mass-mediei fasciste care-l etichetase “țiganul din ring.”
După ce evreii au fost interzişi în mod oficial în sport, titlul la categoria semigrea a fost lăsat vacant de catre boxer-ul evreu Erich Seelig, care a fugit din țară.