上海开埠以后，西式公墓便在租界内出现，引起民间社会的关注。1909年，浙江商人经润山在上海创建了近代中国首个新式公墓—万国公墓，随后上海华人公墓逐渐兴起。义冢与丙舍虽然在很大程度上成为联谊乡情、凝聚旅沪同乡的重要载体，但随着近代上海城市的发展，尤其是新式公墓的出现，这种传统的风俗愈来愈表现出其落后性。会馆、公所大都处于闹市，棺枢在人口稠密的市区膺而不葬，于市容、公共卫生、城市空间的拓展均有所妨碍。公墓较之会馆丙舍，则更符合现代文明的要求。
首先，公墓更加安全卫生。“会馆建筑多用木料，最怕是火警，一旦失慎，纵房屋保有火险，损失可以追回，然而千百尸首骨暴火场，试问是否可以金钱赔偿?其不幸诚有不堪设想者，而况大多数会馆对于预防火警，未闻有何设备，不亦大可危乎?”丙舍不仅易引发火灾，还有碍公共卫生，“会馆容纳新尸，不分寒暑炎夏，若遇丧事，死尸最易腐烂”，公墓则“埋骨地下，一劳永逸，可除卫生之障碍”。
其次，公墓可破除风水迷信，兴利除弊。寄枢会馆为一时权宜之计，非一劳永逸，“吾人稍有余资，谁不念祖上骨肉，人土为安?于是购买田地，运枢回乡，筑坟手续，仍不能省;甚或苛择风水，穷饰墓陵，伤时费事，莫此为甚”。公墓则“可除风水之迷信”，还可以“俭省墓基，谋为骄穴列排以营坟，惮裕膏粱之田”，“得补救平贫营葬之困难”，节省靡费，兴利除弊。
再次，公墓便于祭扫。随着近代上海城市交通的发展，移民人数的增多，人们的“叶落归根”意识开始有所淡化。“上海一埠水陆交通称便，虽相隔数百里，朝发可以夕至。公墓既无定期开放之必要，当然可以随时出人，吾人公余有暇，苟思亲念切者，则献花扫墓，其便利又为何如!”另外，公墓有专人看管修葺，“使不为牛羊粪秽之所，而冀安心于他乡”。
基于上述几点，开明人士提出“宜力求进步，改会馆为公墓，是在识时务之俊杰”。1924年，旅沪宁波同乡会力倡公墓，“吾四明人当全体毅力，以成此切肤之善举，莫让万国公墓专美于前也”。
1920年代前后，同乡团体开始陆续仿效万国公墓的办法改良丧葬制度，经营现代公墓，其中占地最广、影响较大当数联义山庄。民国初年，旅沪广东商人林锰泉购宝山大场乡农田10余亩，建造林氏家族墓地。1916年后，广东旅沪商界联谊会也在其旁购地300余亩，建立广东人专用坟地。不久，两坟地合并，即“联义山庄”，成了专门营葬广东人的公墓。庄内林木森阴、雨道平坦，而公墓设备之完善、规划之适当，尤为自有公墓以来，堪称最完善者”。
广肇山庄是当时上海仅次于联义山庄的同乡团体公墓。1872年，广州、肇庆两府在新闸大王庙创建广肇山庄。后因租界当局于该处筑路，1899年，广肇山庄迁至闸北叉袋角地带，建筑办公场所，并筑丙舍和专用码头，办理同乡膺枢事务。‘牙因连年发展，土地不敷使用，1924年广肇公所购大场、江湾一带土地300余亩，“仿万国公墓办法，另辟匕千穴地为模范坟场”。后来又续购100余亩，“半为公墓，以资模范，半为义家，以惠贫寒”。1931年9月22日，先后历经六载，花费数十万金，占地500余亩的广肇新山庄终于告成。后经逐年扩展，成为当时上海市规模最大的公墓之一。
潮州会馆设有五邑山庄(1861年建)和八邑山庄(1923年建)。1925年1月11日山庄董事会集议，“仿万国公墓办法于新山庄设特别公墓”，之后于八邑山庄内辟地10余亩，经营现代公墓。
1926年，“为爱惜土地，提倡文明制度起见”，江西会馆将原有上海徐家汇东首徐长桥江西义家划出一段改造为公墓，是为江西公墓。江西公墓仿照万国公墓办法，辟有600穴，每穴收银50两，“同乡前往定穴者颇多”。同年，浦东公所为便利同乡旅棕起见，改良葬法，在浦东严家桥东首购地，创办浦东公所公墓。
随着近代上海都市文明的发展，同乡团体的殡葬理念逐渐发生变化，陆续建立新式公墓。同乡团体公墓的出现，是移风易俗走向文明的表现，对于推动移民适应都市生活起到了重要作用。