Pierwsze grzyby na Ziemi pojawiły się prawdopodobnie przed ponad miliardem lat. Zarówno rozwój grzybów, jak i pierwsze ich znaleziska kopalniane datują się od ery paleozoicznej, tj. z okresu około 300 milionami lat, kiedy to na Ziemi pojawiły się pierwsze rośliny naczyniowe. Grzyby żyły licznie w okresie karbońskim, pobierając związki z ówcześnie żyjących roślin i zwierząt lub wspólnie z bakteriami biorąc udział w rozkładzie substancji organicznej i przemianach związków węgla.