Karmacs a 13. században létrejött település, amely ekkor két jól elkülöníthető részből, a nemesi Kiskarmacsból és a várnépek (később jobbágyok) által lakott, később Nagykarmacsnak nevezett településrészből állt. A település első említése 1340-ből való. 1505-ben épült Kiskarmacs temploma, ám a század végére a többi településrésszel együtt hosszabb időre elnéptelenedett a török pusztításai miatt.

A 17–18. század során a törökök pusztításai, majd járványok tizedelték a falu lakosságát.A település nagyobb ívű fejlődése a 18. század végén indult meg, egyre több iparos jelent meg a településen. Mindazonáltal a mezőgazdaság még a 20. században is túlsúlyban volt a községben. 

1945 után a falu képe nagyban megváltozott, új utca is épült. 1973-ban a környék termelő szövetkezeteinek központjává vált, majd 1976-tól a körjegyzőség székhelye is.

A termelő szövetkezetek felszámolását követően a falu gazdasága nagyban visszaesett, megnőtt az elvándorlás mértéke. Manapság az idegenforgalomban próbál új utat keresni a település, amelynek hajtóereje a környék csendessége lehet.