潘祥记的创始人潘光明，出生在广东省潮州揭阳的一个传统手工食品作坊人家。潘光明16岁时，因自家的生意经营不善加之同行竞争激烈而导致家道中落，为了生计不得已到了揭阳当地有名的“祥记”肉脯当伙计。年轻的潘光明吃苦耐劳，头脑灵活，手脚勤快，深受祥记掌柜的喜爱。凭着他的聪颖好学，不出几年，就从师傅那里学到了腊味、肉脯的制作工艺，并逐渐成为“祥记肉脯”的大师傅。经潘光明制作的肉脯，片形整齐，薄而晶莹，色泽鲜艳，细而不腻；干、香、鲜、甜、咸，五味俱呈，深受当地老百姓的喜爱，成为了祥记肉脯的招牌产品，祥记的生意也越做越好，生产规模也不断扩大。随着“祥记”老掌柜年事已高，精力不济，慢慢将店铺的大小事务均交给潘光明打理。此时，祥记肉脯的产品不仅销售潮州府城，还雇人贩卖到庵埠、澄海、潮阳、汕头一带。而肉脯、腊味的生产工艺也广为传播，潮汕地区学会制作肉脯的人越来越多，各个新开张的肉脯店，腊味店如雨后春笋般出现在潮汕地区。此时，头脑敏锐的潘光明意识到了同行的竞争会愈演愈烈，为了避免自家生意因经营不善加同行竞争导致破产的悲剧再次出现，他一方面在祥记产品的选料做工上下足功夫，以求质量取胜。另一方面，也在积极的寻找新的产品，以求在激烈的同行竞争中另辟蹊径。经过多方的考察和比较，潘光明认为曾在国际巴拿马博览会上荣获金质奖并声名鹊起的云南宣威火腿，具有的鲜、嫩、香甜等特点，非常适合潮汕人的口味。并且相比传统的潮式肉脯，宣威火腿更具有色泽鲜艳，红白分明，瘦肉香咸带甜，肥肉香而不腻，美味可口的特点。于是潘光明决定到云南宣威，亲自考察和借鉴宣威火腿的制作工艺。1939年初，正在宣威考察当地火腿制作工艺的潘光明，惊闻日寇大举进攻潮汕地区，于是急忙托人将原在老家的妻子和年仅6岁的儿子潘俊河及3岁的二儿子潘银河接到宣威，以躲避战火。1939年6月，潮州沦陷，“祥记肉脯”在战乱中被迫关店，在宣威躲避战火的潘光明一家，也失去了生活来源。为了一家人的生计，潘光明最初在宣威开过杂货铺，卖过火腿，但都仅够一家人勉强维持生活。1941年，生活举步维艰的潘光明在一个相熟的宣威火腿商的指点下和帮助下，借钱创立了一个糕饼庄，并拜一位从昆明告老还乡的宣威籍老糕点师傅为师，因其天资聪颖，很快将滇式糕点制作的技艺学得炉火纯青。因思念千里之外的故乡，潘光明取老东家“祥记”之名再加上自己的姓，将糕点铺起名为“潘祥记”，寓意不忘老家之本。“潘祥记”以制作滇式火腿月饼为主，开业后，由于潘祥记用料讲究，工精味必美，所生产的火腿月饼油而不腻，咸甜适度、酥、松、脆、软兼顾，有浓郁的火腿香味，很快里巷相传，深受消费者欢迎，生意很快就红红火火起来。