Joe Clarkista tuli 39-vuotiaana Kanadan nuorin pääministeri vuonna 1979. Verokonservatiivinen Joe Clark ja hänen vähemmistöhallitus heidät kukistettiin vain yhdeksän kuukauden kuluttua vallasta epäluottamuksesta, joka koski veronkorotuksia ja ohjelman leikkauksia.
Hävittyään vuoden 1980 vaalit Joe Clark pysyi oppositiojohtajana. Kun Brian Mulroney siirtyi Kanadan progressiivisen konservatiivipuolueen johtajaksi vuonna 1983 ja sitten pääministeriksi Ministeri vuonna 1984, Joe Clark jatkoi tosiasiallisena ulkosuhteiden ministerinä ja perustuslakiministerinä Asioihin. Joe Clark lähti politiikasta vuonna 1993 työskentelemään kansainvälisenä yrityskonsulttina, mutta palasi Progressiivisen konservatiivipuolueen johtajaksi vuosina 1998-2003.
Joe Clark aloitti poliittisen uransa Alberta-ryhmän johtajana vuosina 1966–1967. Hän oli konservatiivisen parlamentin jäsenen Davie Fultonin erityisapulainen vuonna 1967. Hän toimi konservatiivisen parlamentin jäsenen Robert Stanfieldin toimeenpanevana assistenttina 1967– 1970.
Joe Clark valittiin ensimmäisen kerran alahuoneeseen vuonna 1972. Hänet valittiin Kanadan progressiivisen konservatiivisen puolueen johtajaksi vuonna 1976 ja oppositiojohtajaksi vuoteen 1979 saakka. Joe Clark vannottiin Kanadan pääministeriksi vuoden 1979 yleisten vaalien jälkeen.
Konservatiivinen hallitus kukistettiin vuonna 1980. Joe Clark oli jälleen oppositiojohtaja vuosina 1890 - 1983. Joe Clark kutsui Progressiivisen konservatiivisen puolueen johtajuussopimusta ja menetti puoluejohdon Brian Mulroneylle vuonna 1983.
Mulroney-hallituksessa Joe Clark toimi ulkoministerinä vuosina 1984–1991. Hän oli yksityisneuvoston presidentti ja perustuslakiasioista vastaava ministeri vuosina 1991-1993. Joe Clark ei toiminut vuoden 1993 vaaleissa.
Joe Clark palasi Kanadan progressiivisen konservatiivipuolueen johtajaksi vuonna 1998. Hänet valittiin alahuoneeseen uudelleen vuonna 2000. Vuonna 2002 Joe Clark kertoi kuljettaneensa edistyksellistä konservatiivipuolueta niin pitkälle kuin pystyi. Joe Clarkin eroaminen Progressiivisen konservatiivisen puolueen johtajana tuli voimaan toukokuussa 2003 pidetyssä johtamiskokouksessa.