Narodil se v pražské Hostivaři 15. dubna 1873 v selské rodině. Vyučil se pekařem a po smrti svého otce převzal rodinné hospodářství. Politicky se začal angažovat v 90. letech 19. století, kdy byl aktivní ve Sdružení českých zemědělců (od roku 1899 přeměněno v Agrární stranu). V čele Agrární strany byl již od roku 1909, ve funkci setrval až do své smrti. Z agrárníků učinil nejsilnější předválečnou českou politickou stranu.

Za první světové války se účastnil mimo jiné činnosti Českého svazu a Maffie a od července 1918 stál v čele Národního výboru. Patřil také k organizátorům převratu 28. října 1918. Podle původní dohody, kterou učinili domácí a exiloví politici na konci října 1918 v Ženevě, se měl Švehla stát ministrem zemědělství. Nakonec ale pro sebe prosadil mnohem důležitější post ministra vnitra (1918-1920).

Švehla byl architektem tzv. rudo-zelené koalice agrárníků se sociálními demokraty a národními socialisty, která v červenci 1919 vystřídala všenárodní koalici. Významně také ovlivnil podobu prvorepublikové ústavy přijaté v únoru 1920. Švehlovým dítětem se též stala neformální, ale o to důležitější instituce, tzv. Pětka, tedy uskupení šéfů velkých stran.

Švehla vedl od října 1922 do března 1926 dvě vlády všenárodní koalice a po krátkém intermezzu druhé úřednické vlády Jana Černého od října 1926 do února 1929 vládu tzv. panské koalice, tedy nesocialistických stran, do níž vstoupili i zástupci českých Němců. Od konce roku 1927 byl však Švehla nemocný, a tak vládu fakticky vedl předseda lidové strany Jan Šrámek.

V roce 1927 odmítl kandidovat na funkci prezidenta a podpořil kandidaturu Tomáše Garrigua Masaryka. Když Švehla zemřel, Masaryk napsal do novin článek, v němž užil přirovnání řeckého filozofa: "Když dva mužové se spolu dokopávají zlata, nevadí jim, jestliže v usilovné práci jeden o druhého zavadí."

Letos byl vyznamenán prezidentem Milošem Zemanem Řádem bílého lva I. třídy in memoriam za zvláště vynikající zásluhy ve prospěch ČR.