清道光二十八年(1848年)，一位从绍兴来杭谋生的落第文人一洪瑞堂；因南宋诗人林升的诗句“山外青山楼外楼”从中得到启发，把自己湖畔小店取名为“楼外楼”；起初的楼外楼仅是一处平房，但由于店主人善于经营，又烹得一手以湖鲜为主的好菜；特别是他很重视与文人交往，使得在杭及来杭的文人雅士把来楼外楼小酌，作为游湖......