A legenda szerint Rohonc, Bozsok és Velem határában óriások éltek. Olyan nagyok, hogy reggelire is egy egész szarvast ettek. Az óriások nemzettségében azonban több volt a fiú, mint leány. Így aztán nagy volt a harc a lányokért. Élt az óriáslányok közt egy különösen melegszívű, aki minden kérőjének hűséget és szerelmet ígért. Egyszer aztán két óriásfiú ugyanezért a lány szerelméért esedezett. Hogy eldöntsék, kié legyen a leány, egymásnak estek. A lány meg ott ült a tisztás szélén és mosolyogva nézte a dolog kimenetelét. Eközben az egyik óriásfiú a társától akkora pofont kapott, hogy kiesett a zápfoga. Aztán nagy ívben a Kalapos-kő helyére esett. A Kalapos-kő tehát ennek az óriásfiúnak a megkövesedett zápfoga, mely azóta is hirdeti, hogy itt egykor az óriások földje volt. Egyes régészeti feltevések szerint a Kalapos-kő kultikus, rituális szertartási hely lehetett. Ez az igazán különleges természeti környezet a kövekkel, a kilátással, az égi jelenségek megfigyelésének lehetőségével kiválóan megfelelt szertartások lebonyolításához. Az oszlopszerű kövek figyelem-összpontosító eszközként is felfoghatók, de lehetnek a szent terület szimbólumai is. A tűzhelyek maradványai is szertartásokra utalnak.