Provst og sognepræst Caspar Schade (1754-1828) skriver i sin ”Beskrivelse over Øen Mors” fra 1811, at Skarresten ligger ”langt ude i Fjorden på 5 Fod Vand nordvestlig for Skallerup. Toppen kan kun ses ved meget lavt Vande”. Stedbeskrivelsen passer præcis på vor tids Sælsten i Limfjorden. Om Skarresten fortæller Schade, at den blev kastet af en Thylands Kæmpe ved navn Skarre, men at stenen faldt i fjorden, fordi han ikke fik kraft nok på.
August F. Schmidt argumenterer dog for i sit kæmpeværk om Danmarks kæmpesten fra 1932, at Schade har fået galt fat i navnet. Og at navnet Skarresten retteligen hører til en sten nordvest for Skranderup eller Skarrehage, hvor Skarregård med Voldstedet Skarreborg ligger. Disse steder ligger på Nordmors nord for Sejerslev.
To andre overleveringer blev fortalt August Schmidt og gengivet i hans store bog om Danmarks kæmpesten:
Højskoleelev Alma Andersen kendte Sælstenen under navnet ”Den Grå Sten”. Hun meddelte i 1924, at stenen blev kastet efter Solbjerg Kirketårn i Thors tid af en jætte ved Vesterhavet.
En lærer Anders Dissing i Erslev fortalte, at ”Tårnet på Tådsø Kirke siges at kunne ses langt ude på Havet. En Kæmpe i Thy tog en Sten og ville slå det Tårn ned. Han slyngede Stenen, men den faldt bagud og ligger ude i Fjorden lige ud for Skellinjen mellem Skallerup og Sundby”. Sælstenen ligger præcis ud for skellet mellem Sundby og Skallerup sogne. Og Tådsø Kirke ligger tæt ved østkysten af Mors nord for Nykøbing. Kirken har givetvis været pejlemærke for søfolk med kursen sat over Livø og Løgstør Bredning.