சிவகங்கை மாவட்டத்தில் உள்ள காளையார் கோவிலில் சொர்ணகாளீஸ்வரர், சொர்ணவல்லியுடன் திருவருள் பாலிக்கிறார். அபூர்வமான கொக்கு மந்தாரையை தல விருட்சமாகக் கொண்ட இத்தலத்தில் கஜபுஷ்கரணி, சிவகங்கை காளி தீர்த்தம், விஷ்ணு தீர்த்தம், சரஸ்வதி தீர்த்தம், கௌரி தீர்த்தம், ருத்ர தீர்த்தம், லட்சுமி தீர்த்தம், சுதர்சன தீர்த்தம் போன்ற தீர்த்தங்கள் தல தீர்த்தங்களாக உள்ளன.

 இங்கு சிவன் சுயம்பு மூர்த்தியாக அருள்பாலிக்கிறார் ஸஹஸ்ரலிங்கமும் (ஒரே லிங்கத்தில் ஆயிரம் லிங்கம்) இத்தலத்தில் உள்ளது. தங்கத்தால் ஆன பள்ளியறை இங்குள்ளது.  வைகாசி விசாகத்தில் இங்கு நடக்கும் தேரோட்டம் மிகவும் சிறப்பு வாய்ந்தது. அது சோமேஸ்வரருக்கென்றே பிரத்யேகமாக நடைபெறும் தேரோட்டம். அதேபோல தைப்பூசத்தில் சுவர்ண காளீஸ்வரருக்கும் ஆடிப்பூரத்தில் சுவர்ணவல்லி அம்மனுக்கும் தேர்த்திருவிழா நடக்கிறது. 

சோமேசர் சந்நதிக்கு எதிரில் உள்ள பெரியகோபுரம் மருதுபாண்டியரால் கட்டப்பெற்றது. இக்கோபுரத்தின் மீதேறிப் பார்த்தால் மதுரைக் கோபுரம் தெரியுமாம். சுவர்ணகாளீஸ்வரரை வழிபட்டால் செல்வவளம் பெருகும் என்பது நம்பிக்கை. இந்திரனின் வாகனமான ஐராவத யானை, மகரிஷி ஒருவரால் தரப்பட்ட பிரசாத மாலையைத் தரையில் வீசி எறிந்தது.

இதனால் சாபம் பெற்ற அந்த யானை, சாப நிவர்த்திக்காக இத்தல இறைவனுக்கு அபிஷேகம் செய்து வந்தது. மனிதர்களின் பார்வை இந்த யானை மீது படக்கூடாது என்பது விதி. ஆனால், ஒருமுறை ஒரு மனிதன் அந்த யானையைப் பார்த்து விட்டான். இதனால், அந்த யானை தன் தலையால் பூமியை முட்டி பாதாளத்துக்குள் சென்றுவிட்டது. யானை முட்டிய பள்ளத்தில் தண்ணீர் பெருகி, ஒரு தீர்த்தக்குளம் உண்டானது. இதற்கு “யானை மடு’’ என்று பெயர். ராமபிரான் ராவணனை அழித்த பிரம்மஹத்தி தோஷம் நீங்க இத்தீர்த்தத்தில் நீராடியதாக ஸ்கந்த புராணத்தில் உள்ளது. கோயிலுக்குள் சிவகங்கை தீர்த்தம் உள்ளது.

இங்குள்ள பெரிய கோபுரம் முதலாம் சுந்தரபாண்டியனாலும், சிறிய கோபுரம் மருது பாண்டியர்களாலும் கட்டப்பட்டது. சோமேசர்- சவுந்தரநாயகி, சுவர்ணகாளீஸ்வரர் - சுவர்ணவல்லி, சுந்தரேஸ்வரர்- மீனாட்சி என மூன்று சிவனும், மூன்று அம்மனும்  தனித்தனி சந்நதிகளில் அருளுகின்றனர். தேவாரப்பாடல் பெற்ற தலங்களில் மூன்று சிவன், மூன்று அம்மன் இங்கு மட்டுமே உள்ளனர்.

ஒருமுறை சுந்தரர் திருச்சுழி (விருதுநகர் அருகிலுள்ளது) திருமேனிநாதரை தரிசித்து விட்டு காளையார் கோவிலுக்கு சென்றார். ஊர் எல்லைக்கு வந்தவுடன் பாதை முழுவதும் சிவலிங்கமாக இருப்பதை உணர்ந்தார். அதில் தனது கால்களைப் பதிக்க தயங்கினார். “இறைவா! உன்னைக் காண முடியவில்லையே,’’ என வருந்திப் பாடினார். தன் நண்பரான சுந்தரர் மீது இரக்கம் கொண்ட சிவபெருமான், தனது காளையை அனுப்பினார்.

அது சுந்தரர் நின்ற இடம் வரை வந்து மீண்டும் திரும்பிச்சென்றது. அதன் கால் பதிந்த இடங்களில் லிங்கம் இல்லையென்றும், அவ்வழியே நடந்து வந்து தன்னைத் தரிசிக்கலாம் என அசரீரி ஒலிக்கவே, சுந்தரர் மகிழ்ச்சியுடன் அவ்வழியில் சென்றார். காளை வழிகாட்டிய தலம் என்பதால், இவ்வூர் “காளையார் கோவில்’’ ஆயிற்று.