Na základě nacistických norimberských zákonů bylo ve 30. letech v Německu stanoveno, že rasovým nepřítelem číslo jedna jsou židé a za nepřítele číslo dvě byli stanoveni „cikáni a cikánští míšenci“. V hitlerovském Německu i v zemích pod nadvládou třetí říše byli pak Romové perzekvováni a deportováni do různých druhů táborů včetně vyhlazovacích.

První protiromský výnos, zakazující především kočování, vyhlásila protektorátní vláda koncem března 1939. Počátkem pronásledování Romů za druhé republiky bylo přijetí nařízení o kárných pracovních táborech, do kterých měli být umístěni práceschopní muži starší 18 let, kteří nemohli prokázat řádný způsob obživy. Nařízení začalo platit od dubna 1939.

Do roku 1942 tvořili Romové v různých táborech pouze deset nebo 15 procent vězňů

Kárné pracovní tábory se začaly stavět v srpnu 1940 asi dva kilometry od obce Lety u Písku a v Hodoníně u Kunštátu. Oplocená část tábora v Letech měla rozlohu 66 arů (0,66 hektaru), ke které patřilo ještě 11,2 aru neoplocené zemědělské půdy. Vzory pro zřízení těchto táborů byla podle serveru holocaust.cz již existující zařízení například v rakouském Lackenbachu.

Do nově zřízených kárných pracovních táborů měly být zařazovány především romské rodiny, které splňovaly podmínky pro uvalení preventivní policejní vazby. Účelem táborů bylo podle ministerského výnosu vychovat „cikány, cikánské míšence a osoby potulující se po cikánském způsobu“ k práci, pořádku a kázni.

Do roku 1942 ale tvořili Romové v různých táborech pouze deset nebo 15 procent internovaných, zlom nastal až v roce 1942, kdy bylo v březnu přijato vládní nařízení o preventivním potírání zločinnosti a v červnu přijat zákon o potírání tzv. cikánského zlořádu. To zahájilo rasový postup proti Romům a romským míšencům a po březnovém přejmenování táborů na sběrné byly v srpnu 1942 tábory v Letech a Kunštátu změněny na cikánské tábory. Neromští vězňové byli přemístěni jinam nebo propuštěni. Na protektorátním území byl proveden soupis „cikánů a cikánských míšenců“, mezi něž české četnictvo pod dohledem německé kriminální policie zahrnulo na 6 500 osob.

Muži, ženy a děti v Letech pracovali v kamenolomu, při stavbě silnice a jejich práce byla využívána v zemědělství a při lesnických pracích.

Tzv. konečné řešení cikánské otázky pak přinesl rozkaz šéfa SS Heinricha Himmlera z prosince 1942 o deportaci Romů do Osvětimi, kde je většinou čekala smrt.

Z asi 6 500 protektorátních Romů jich 4 870 odjelo transporty do vyhlazovacího tábora v Osvětimi

Podle historických pramenů prošlo táborem v Letech 1 308 osob, zahynulo v něm 327 lidí, z toho 241 dětí mladších 14 let. Dalších asi 540 vězňů bylo převezeno do Osvětimi. V táboře v Hodoníně protektorátní úřady shromáždily 1 375 lidí, 207 z nich zemřelo a přes 800 bylo deportováno do Osvětimi. Desítkám vězňů se podařilo uprchnout. Do osvětimského „cikánského tábora“ byli od března 1943 posíláni i Romové, kteří nebyli internováni v tzv. cikánských táborech v Letech a v Hodoníně a do této doby zůstali na svobodě.

Muži, ženy a děti v Letech umírali následkem nedostatečných přídělů potravin (byly zadržovány a rozkrádány českým dozorčím personálem), těžké práce a katastrofálních hygienických podmínek, zejména akutního nedostatku vody a enormního překročení ubytovací kapacity tábora. Tyto okolnosti vedly k vypuknutí epidemie břišního a skvrnitého tyfu.

Z asi 6 500 protektorátních Romů jich 4 870 odjelo transporty do vyhlazovacího tábora v Osvětimi, vrátilo se jich 583. Podle odhadů odborníků nacisté vyvraždili 90 procent českých a moravských Romů.

V roce 1973 byl na místě tábora v Letech postaven velkokapacitní vepřín.