Valkoisen talon rakentaminen Washingtonissa, D.C., alkoi vuonna 1792. Vuonna 1800 presidentti John Adams oli ensimmäinen presidentti, joka muutti Executive Mansioniin, ja se on kunnostettu, kunnostettu ja rakennettu uudelleen useita kertoja sen jälkeen. Valkoinen talo tunnetaan ympäri maailmaa Amerikan presidentin kotona ja amerikkalaisten symbolina. Mutta kuten sen edustama kansakunta, Amerikan ensimmäinen kartano on täynnä odottamattomia yllätyksiä.
Aikana Sota 1812, Yhdysvallat poltti parlamentin rakennuksia Ontariossa, Kanadassa. Joten vuonna 1814 Britannian armeija koski sytyttäen suuren osan Washingtonista, mukaan lukien Valkoinen talo. Presidentinrakenteen sisäpinta tuhoutui ja ulkoseinät olivat huonosti hiileneitä. Tulipalon jälkeen presidentti James Madison asui Kahdeksankulmainen talo, joka myöhemmin toimi Yhdysvaltain arkkitehtiinstituutin (AIA) pääkonttorina. Presidentti James Monroe muutti osittain rekonstruoituun Valkoiseen taloon lokakuussa 1817.
Jouluaattona 1929, pian sen jälkeen kun Yhdysvallat joutui syvään taloudelliseen masennukseen, Valkoisen talon länsisiipissä puhkesi sähköinen tulipalo. Tulipalo suolisti toimeenpanovirastot. Kongressi hyväksyi hätärahoituskorjaukset, ja presidentti Herbert Hoover ja hänen henkilöstönsä muuttivat takaisin 14. huhtikuuta 1930.
Kun arkkitehti Pierre Charles L'Enfant laati alkuperäiset suunnitelmat Washingtonista, hän kehotti huolellisen ja valtavan presidentin palatsin perustamista. L'Enfantin visio hylättiin, ja arkkitehdit James Hoban ja Benjamin Henry Latrobe suunnittelivat paljon pienemmän, nöyrämmän kodin. Valkoinen talo oli silti suurenmoinen omalla ajallaan ja uuden maan ylivoimaisesti suurin. Suurempia koteja rakennettiin vasta sisällissodan ja Brasilian nousun jälkeen Kultakauden kartanot. Yhdysvaltain suurin koti on yksi tuosta ajanjaksosta, Biltmore Ashevillessä, Pohjois-Carolinassa, valmistunut vuonna 1895.
Valkoisen talon kulmakivi asetettiin vuonna 1792, mutta Irlannissa oleva talo on saattanut olla mallinsa suunnittelulle. Yhdysvaltojen uudessa pääkaupungissa sijaitseva kartano rakennettiin Dublinissa opiskelleen irlantilaissyntyisen James Hobanin piirustuksilla. Historialaisten mielestä Hoban perusti Valkoisen talon suunnittelun paikallisessa Dublinin asunnossa, Leinster-talossa, Leinsterin herttuoiden Georgian tyylisessä kodissa. Irlannin Leinster-talo on nyt Irlannin parlamentin kotipaikka, mutta ennen sitä todennäköisesti inspiroi Valkoista taloa.
Valkoinen talo on uusittu monta kertaa. 1800-luvun alkupuolella presidentti Thomas Jefferson työskenteli brittiläisesti syntyneen arkkitehdin Benjamin Henry Latroben kanssa useilla lisäyksillä, mukaan lukien itä- ja länsi-siipi-pylväät. Arkkitehti James Hoban valvoi vuonna 1824 uusklassisen "kuistin" lisäämistä Latroben laatimien suunnitelmien perusteella. Elliptinen eteläinen portikka näyttää heijastavan Château de Rastignac, tyylikäs talo, rakennettu vuonna 1817 Lounais-Ranskassa.
Maa, josta tuli Washington, D.C., ostettiin Virginiasta ja Marylandista, missä harjoitettiin orjuutta. Historialliset palkkaraportit dokumentoivat sen monet Valkoisen talon rakentamiseen palkatuista työntekijöistä olivat afroamerikkalaisia—Jotkut vapaat ja jotkut orjat. Työskentelemällä yhdessä valkoisten työntekijöiden kanssa, afrikkalaiset amerikkalaiset leikkasivat hiekkakiven louhoksessa Aquiassa, Virginiassa. He kaivoivat myös Valkoisen talon jalustan, rakensivat perustan ja ampuivat tiilejä sisäseiniin.
Valkoista taloa ei olisi voitu valmistaa ilman eurooppalaisia käsityöläisiä ja maahanmuuttajatyöläisiä. Skotlantilaiset kivityöläiset nostivat hiekkakiven seinät. Skotlannin käsityöläiset veivät myös ruusu- ja seppelekoristeita pohjoisen sisäänkäynnin yläpuolelle ja kammiokuvioita ikkunoiden reunusten alle. Irlantilaiset ja italialaiset maahanmuuttajat tekivät tiili- ja laastityöt. Myöhemmin italialaiset käsityöläiset veivät koristeellisia kivityöt Valkoisen talon portikoille.
Presidentti George Washington valitsi James Hobanin suunnitelman, mutta hänen mielestään se oli liian pieni ja yksinkertainen presidentille. Washingtonin valvonnassa Hobanin suunnitelmaa laajennettiin ja Valkoiselle talolle annettiin suuri vastaanottohuone, tyylikkäät pilasterit, ikkunaluukut ja tammenlehdet ja kukat. Mutta Washington ei koskaan asunut Valkoisessa talossa. Vuonna 1800, kun Valkoinen talo oli melkein valmis, Amerikan toinen presidentti, John Adams Muutti. Adamsin vaimo Abigail valitti presidentin kodin keskeneräisestä tilasta.
Valkoisen talon alkuperäiset rakentajat eivät harkineet vammaisen presidentin mahdollisuutta. Valkoisesta talosta ei tullut pyörätuolia saatavilla siihen asti kun Franklin Delano Roosevelt astui virkaan vuonna 1933. Presidentti Roosevelt oli halvaantunut polion vuoksi, joten Valkoinen talo uudistettiin pyörätuolia varten. Franklin Roosevelt lisäsi myös lämmitetyn sisäuima-altaan terapiansa avuksi. Vuonna 1970 uima-allas peitettiin ja sitä käytettiin tiedotustilana.
150 vuoden kuluttua Valkoisen talon puiset tukipalkit ja kantavat ulkoseinät olivat heikot. Insinöörit julistivat rakennuksen vaaralliseksi ja sanoivat, että rakennus romahtaa, jos sitä ei korjata. Vuonna 1948 presidentti Truman piti sisätilat siskoon, jotta uudet terästukipalkit voitiin asentaa. Trumans asui jälleenrakennuksen aikana kadun toisella puolella Blair-talo.
Valkoista taloa on kutsuttu moniksi nimiksi. Dolley Madison, Presidentti James Madison, kutsui sitä "Presidentin linnaksi". Valkoista taloa kutsuttiin myös "Presidentin palatsiksi" "Presidentin talo" ja "Executive Mansion". Nimi "Valkoinen talo" tuli viralliseksi vasta 1901, jolloin Presidentti Theodore Roosevelt hyväksynyt sen virallisesti.
Syötävän Valkoisen talon luomisesta on tullut jouluperinne ja haaste viralliselle leivonnaiskokille ja Valkoisen talon leipomotiimille. Vuonna 2002 teema oli "Kaikki suuret ja pienet olennot" ja 80 kiloa piparkakut, 50 kiloa suklaata ja 20 kiloa martsipania Valkoista taloa kutsuttiin parhaaksi joulukorkeudeksi koskaan.
Valkoinen talo on tehty harmaasävyisestä hiekkakivestä louhoksesta Aquiassa, Virginiassa. Pohjoinen ja eteläinen muotokuva on rakennettu punaisella Seneca-hiekkakivellä Marylandista. Hiekkakiven seiniä ei maalattu valkoiseksi, ennen kuin Valkoinen talo rakennettiin uudelleen Britannian tulipalojen jälkeen. Koko Valkoisen talon peittäminen vie 570 gallonaa valkoista maalia. Ensimmäinen käytetty päällyste tehtiin riisiliimasta, kaseiinista ja lyijystä.