Există dovezi că grupurile de rromi s-au stabilit în Balcani în secolul al XIV-lea. Documentele țarului Du šan al IV-lea menționează sosirea romilor la Prizren pentru prima dată în 1348. În perioada otomană, care a durat până în 1912, romii au fost un important factor cultural și economic în societatea kosovară. Abilitățile lor manuale au fost puse în valoare, în special arta fierariei. Mulți erau în prezent iobagi ai proprietarilor otomani.
Odată cu creșterea mișcărilor etnic-naționaliste, romii au fost prinși din ce în ce mai mult între fronturile albanezilor și sârbilor, fiecare dintre ei cerând loialitate absolută. În războaiele balcanice din 1912/1913, albanezii musulmani au fost portretizați ca subumani de către propagandiștii sârbi. Obiectivul naționaliștilor albanezi a fost un Imperiu Albanez „pur din punct de vedere etnic”. De atunci, sârbii, evreii și rromii au fost persecutați sistematic în Kosovo, mai întâi de bandele albaneze, „Balli Kombetar”, iar în cursul celui de-al Doilea Război Mondial de divizia SS „Skanderberg”, pe care Himmler a adunat-o din voluntari albanezi Eers. Roma a trebuit să facă muncă forțată și au fost deportați în lagăre de concentrare și moarte.
Mulți rromi kosovari i-au sprijinit pe partizanii lui Tito în lupta lor împotriva ocupanților germani. Pensia de urmaș a fost plătită familiilor partizanilor uciși. Au primit drept de ședere și statul le-a subvenționat construcția de case.
De la începutul anilor 1980 au existat rapoarte privind eforturile naționaliștilor albanezi kosovari pentru a curăța etnic Kosovo de toate minoritățile non-albaneze. După 1989, conflictele dintre sârbi și albanezi au escaladat și mai mult. În anii 1990 a apărut KLA, o organizație paramilitară care a luptat pentru secesiunea Kosovo de Iugoslavia.