Erigida en el Siglo XVI en honor del santo protector contra la peste, en el solar de una antigua factoría de salazón de época romana. Se reedificó en torno a 1680, una vez cesada la epidemia.
Durante la restauración llevada a cabo en el Siglo XVIII, se colocaron numerosas lápidas romanas en la portada, junto con unas huellas grabadas procedentes de las murallas y atribuidas a San Tesifón. Apoyándose en el prestigio de los restos arqueológicos de Abdera, se intentó así legitimar la tradición del desembarco de Santiago y los Varones Apostólicos en Adra.
En la restauración que se llevó a cabo en 1941 por los armadores y pescadores, se trasladaron la mayoría de esas lápidas al Museo de Almería.
Actualmente, la ermita está presidida por la imagen de la Vírgen del Mar.