Im 11. und 12. Jahrhundert, als die Kirche erbaut wurde, lag sie außerhalb der Domburgbefestigung an der Straße, welche zahlreiche Jakobspilger auf ihrem Weg nach Santiago de Compostela benutzten. Zunächst wurde die Kirche nach dem Vorbild des Heinrichsdoms begonnen und als Säulenbasilika errichtet. 1771 entstand die vorgeblendete Barockfassade, hinter der man jedoch auch heute noch zahlreiche Bauteile aus der romanischen Zeit entdeckt. Auch im Inneren sind die Stilelemente der Romanik nicht zu übersehen.
St. Jakob ist - trotz ihrer barocken Fassade - die einzige vollständig romanische Kirche in Bamberg.