Seit dem Mittelalter steht oberhalb des Aatals eine Kapelle, die schon damals dem Apostel Jakobus, dem Schutzpatron der Pilger, geweiht war. In den Jahren 1695 – 1697 wurde dieses Chappeli durch einen Neubau ersetzt. Das barocke Bauwerk löste den mittelalterlichen Vorgängerbau ab, der als Pilgerheiligtum am Kreuzungspunkt der Wallfahrtswege aus dem Bodenseeraum über das Hörnli oder über den Ricken entstanden war.

Die Kapelle wurde 1718 instandgestellt, um 1900 umgestaltet und im Jahre 1973 umfassend restauriert