五芳斋粽子是嘉兴名产，在江南一带很知名气。
据说，昔时有一个以弹棉花为生的兰溪人出外做手艺，因生意不佳，便漂泊在嘉兴。一天因付不出栈房钱被堆栈老板赶了出来。他一溜溜到了张家弄，看到一家商店的屋檐上有四个人抖抖索索地挤在墙角落里。他忍不住也走过去，紧贴着人家坐下来。那几个人也不怎么多问话，大家挤在一块避寒。这夜兰溪人正在打打盹，模模糊糊地听到一阵嘻嘻哈哈的笑声和嘁嚓嘁嚓的脚步声，还听见有人说：“白相到子夜，肚皮也饿了，快点去买茶叶蛋吃。”他突然脑筋一亮，跳了起来，推醒了另一方面几个人说：“咱们总无法等着受冻受饿呀，天下三百六十行，总要找一行混碗饭吃，咱们也去卖茶叶蛋吧！”另一人说，做茶叶蛋生意的人太多了，咱们要做一样新鲜生意，才能赢利。兰溪人一想，说：“我的故乡裹粽子卖，生意蛮不错，咱们不妨做粽子生意。”四人齐声称好，并一起磋商怎样把粽子做得味道鲜美，让顾客喜欢。第二天，五个人分别典卖了衣物，凑钱买了一只老母鸡和糯米、粽箬、酱油、黄酒等物，把糯米摆在鸡汤里浸过，再连同鸡肉一起裹出了一篮粽子。粽子烧好，老远就嗅到香味。公然，这篮粽子一拿出就卖光。今后，他们的生意越做越兴隆，便又增加了鲜肉粽、火腿粽、猪油夹沙粽等很多花色种类。由于他们专门在晚上到张家弄经商，所以，嘉兴人称作“张家弄粽子。”
后来，这五人结拜了兄弟，在张家弄口开起了一丬粽子店，昼夜营业。因为五人合资，所以取名“五芳斋”。五芳斋的招牌上画了一只大雄鸡，表明他们是做鸡肉粽发迹的，也表明他们的粽子特色。五芳斋的生意尽管越做越好，钱越赚越多，名气愈来愈响，可是这五个拜把兄弟矛盾却愈来愈大，终于拆伙，各自去开了一丬粽子店，分别叫“荣记五芳斋”、“庆记五芳斋”、“真记五芳斋”、“冯记五芳斋”和什么“记”也没有的“五芳斋”。他们都在招牌上画一只鸡，自封“正宗”，而且彼此攻击，说别人是冒牌。
直到新中国创建初始，张家弄尚有三丬粽子店，后来这三家五芳斋粽子店归并，统称作“五芳斋”粽子店。