Im Jahre 1414 hat die Brüderschaft nachweisbar ihr erstes Stiftungsfest gefeiert, sie hat aber wohl bereits vorher Bestand gehabt und geht möglicherweise in das vierzehnte oder gar dreizehnte Jahrhundert zurück. Anhaltspunkte hierfür gibt es kaum, da im Großen Stadtbrand 1659 die meisten Urkunden und Schriftstücke ein Opfer der Flammen geworden sind. Die um 1160 ausgestorbenen Grafen von Harsefeld und Stade hatten ihre Burg mit der St. Pankratiuskapelle auf dem Spiegelberg erbaut. Daraus entstand später die St. Pankratius-Kirche und vermutlich ist in diesem Zusammenhang die Gebetsbrüderschaft entstanden.

Mit der Brüderschaft war von Anfang an eine Sterbekasse verbunden, die für die Brüder und ihre Angehörigen eine Beerdigung durchführte, sowie den Überlebenden Sterbegelder zufließen ließ. Aus den damals bereits geführten Todeslisten ist zumindest nachweisbar, dass die dort aufgeführten Bewohner der Stadt Stade Brüder waren und von der Brüderschaft entsprechend beerdigt wurden. Derartige Beerdigungen fanden wohl auch schon vor 1400 statt.

Mitglied durfte nur werden, wer im Einzugsbereich des Kirchensprengels am Spiegelberg wohnte. Erst nachdem sich Anfang des 16. Jahrhunderts die Reformation durchgesetzt hatte, konnten auch Bürger anderer Stadtbezirke und von außerhalb Mitglieder werden. Tätige Nächstenliebe und Armenfürsorge waren ein Anliegen der Brüderschaft. Die Mittel dafür flossen aus Stiftungsvermögen und Sammlungen, hier vor allem aus Sammelbüchsen, die in öffentlichen Gebäuden, Gasthäusern und Privathäusern aufgestellt wurden. Die Empfänger der Spenden erhielten einerseits Geldbeträge, aber andererseits auch Sachspenden wie Schwarz,- Weiß- und Mischbrot, sowie Wurst und Speck. Um die Wurst vom Wiemen, dem Rauchboden und das Brot aus dem Ofen zu holen, benutzte man „Schüffel und Krönke“. Sie sind bis zum heutigen Tag Symbole der Brüderschaft.