KOK oli myöntänyt pelit Berliinissä vuonna 1931 ilman aavistustakaan Adolf Hitler oli tarkoitus ottaa valta Saksassa kaksi vuotta myöhemmin. Vuoteen 1936 mennessä natseilla oli hallussaan Saksa ja he olivat jo alkaneet panna täytäntöön rasistista politiikkaansa. Kansainvälisestä keskustelusta käytiin 1936 olympialaiset Natsi-Saksassa pitäisi boikotoida. Yhdysvallat oli erittäin lähellä boikotointia, mutta päätti viime hetkellä hyväksyä kutsun.
Natsit pitivät tapahtumaa tapana edistää heidän ideologiaansa. He rakensivat neljä suurta stadionia, uima-altaat, ulkoteatterin, polokentän ja olympiakylän, jossa oli 150 mökkiä urosurheilijoille. Koko pelien ajan olympiakompleksi oli katettu natsien bannereilla. Leni Riefenstahl, kuuluisa natsien propaganda-ohjaaja, kuvattiin nämä olympialaiset ja tehtiin niistä hänen elokuvansa Olympia.
Jesse Owens, musta urheilija Yhdysvalloista, oli vuoden 1936 olympialaisten tähti. Owens, "Tan-sykloni", toi kotiin neljä kultamitalia: 100 metrin viiva, kaukohyppy (teki olympialaisen ennätys), 200 metrin sprintti käännöksen ympäri (teki maailmanennätys) ja osa joukkuetta 400 metrin matkalla rele.
Noin 4000 urheilijaa, jotka edustavat 49 maata.