U knjizi Milana Šipke "Zašto se kaže" navedeno je da iz izraza nije jasno "da li je tu reč o kajgani svetog Petra koja je nekoga skupo koštala, ili, pak, o nekoj kajgani koja je skupo stajala samog svetog Petra?" Po Šipki, prvo tumačenje je uvjerljivije, a izraz potiče od Grka koji imaju poslovicu "Skupa li je kajgana svetog Đorđa" gde je došlo do zamjene imena, budući da je kod nas sveti Petar poznatiji nego kod Grka.

A legenda koja objašnjava ovaj izraz kazuje da je neki dečko u Paflagoniji načinio svetom Đorđu kajganu i odnio mu je u crkvu. U tom naiđoše četiri trgovca da se pomole Bogu i ugledavši kajganu, nisu mogli odoljeti i pojedoše je. Ali svetac učini čudo i trgovci nisu mogli izaći iz hrama dok svaki od njih nije položio po jedan veliki zlatnik. Kada su napokon izašli iz hrama, rekoše: "Sveti Đorđe, mnogo ti je skupa kajgana; nikad je više od tebe nećemo kupovati".

Drugo tumačenje kaže da su Isus i sveti Petar išli svijetom da kušaju ljude, a uz to "Hristos kuša Petra svoga". Jedne večeri zanoćili su kod siromašne udovice koja je imala mnogo nejake djece. Ona ih lijepo dočeka i ponudi im kajganu za večeru. Isus se zahvali i ne htjede kušati kajgane, već ode na slamu da spava, upozorivši svetog Petra da ne jede kajganu koju je udovica spremila djeci. Ali, gladni Petar ne posluša Isusa već se dohvati kajgane i htjede je pojesti, ali se ona u istom času okameni tako da je nije mogao jesti.

Ujutro Isus Petru izreče tešku pokoru tako da je Petar morao da prosi po selu da bi prehranio udovičinu dječicu i to sve dok se Isus ne vrati i ne zatekne djecu živu i zdravu. Nakon povratka, Isus upita Petra "Je l' sve dobro pa da te opraštam?", a Petar, izmožden reče (po pesmi J. J. Zmaja): "Sve je dobro, milom tebi hvala! Al kajgana skupo me je stala."