Zo in de jaren twintig, jaren dertig begon de achteruitgang van Achter de kerk.
Zaandijk maakte een nieuwe periode van uitbreidingen door. Aan straten als de Karl Marxstraat, de Goeman Borgesiusstraat, de Domela Nieuwenhuisstraat en de P.L. Takkade waren in de jaren twintig stenen arbeiderswoningen neergezet, die veel luxer en ook groter waren dan de houten woninkjes achter de kerk. Heel wat bewoners verlieten hun oude buurt om in een dergelijk stenen huis te gaan wonen; daar zal ook wel enige status aan hebben gekleefd. Voor Achter de kerk betekende dit inderdaad achteruitgang. De buurt werd dunner bevolkt, woningen vervielen en werden gesloopt. Maar vooralsnog bleef ook Achter de Kerk een echte buurt. Het was geen makkelijke tijd.
De crisis van de jaren dertig diende zich aan, en juist in een arbeidersbuurt als Achter de kerk werd die zwaar gevoeld. Het is een dikke vijftig jaar geleden; we zijn weer op de verbazingwekkende snelheid van veranderingen gekomen. In sommige gezinnen werd werkelijk honger geleden. Wie zijn werk kwijt raakte moest naar de steun, dagelijks stempelen voor een uitkering die te laag was om met een gezin van te kunnen leven. Sommigen (wat dat betreft was er niets veranderd) konden de uitzichtloosheid van hun situatie niet aan en vluchtten in drankmisbruik. Het was de tijd van 'Ach vader lief, toe drink ni meer.' Het was een slechte tijd. En toch.
Ofschoon niemand terugverlangde naar de omstandigheden van toen, sprek de mensen die in de jaren dertig achter kerk woonden daar nu ook met weemoed over. Het was gezellig in de buurt. 's Avond na het eten, gingen de mensen als het weer het toestond naar buiten en liep of zat iedereen met elkaar te kletsen. 'Beurzen', werd dat genoemd. Op zondagochtenden, als het mooi weer was, kwamen buurtbewoners met muziekinstrumenten naar buiten en dan werd spontaan samengespeeld. Fraai was de muziek niet altijd; sommige buurtbewoners gingen zelfs liever een straatje om als er zo'n 'koffie-concert' werd gegeven. Maar wie de valse klanken kon verdragen bleef, want gezellig was het dan wel achter de kerk. Er werd meer gemusiceerd. Op oudejaarsavond was het bal op straat.
En als het gevroren had, en er kon geschaatst worden op de Nieuwe Vaart, ontstond op het ijs traditioneel en toch spontaan een hoempapa-orkestje 's Avonds werd er dan op de Nieuwe Vaart gedanst. Gedanst werd er ook als Pot of Heynis mei hun draaiorgel de buurt bezochten. De mensen verlieten hun huizen en een half uurtje lang was het feest op straat. De buurt had meer vaste bezoekers. Krijt, de ijsboer van het Ameland bijvoorbeeld. Hij kwam in de zomers wekelijks op zijn driewieler de buurt inrijden. 'Uitsluitend bereid met gekookte melk' stond er op de kap van zijn fiets. Vrouw Bus, de waarzegster, kwam ook met regelmaat. En het mannetje met het stoeltje, een man met ongelukkige beentjes, die zich alleen zittend op een stoeltje kon voortbewegen. Hij was een bedelaar en belde bij de huizen aan met behulp van een haakje.