Köyün eski adı olan Cebre isminin nereden geldiği tam olarak bilinmemektedir. Ancak sonradan değiştirilen Karakayalı adını Toros dağlarında Karakayalı adındaki yörüklerden almıştır. Tarsus'un kuzeyinde Navrun Yaylası civarında göçebe halde yaşayan Karakayalı Yörükleri 20.yüzyılın başlarında iskan edilmişdir. [1]
Eğitim amaçlı başlayan şehire göç olgusu 2000 li yıllarda arazilerin miras yoluyla parçalanması, makinalı tarımın yaygınlaşması ve işgücüne olan ihtiyacın asgari düzeye inmesiyle topraksız ve az toprağı olan köylüler başta Ceyhan ve Adana olmak üzere çeşitli şehirlere göç etmişlerdir.
İlköğretimin zorunlu 8 yıl olmasından sonra köyün okulu kapanmış ve taşımalı eğitime geçilmiştir. Yeterince tarım arazisi olan köy halkından ise çok azı köyde yıl boyu yaşamaktadır.