到了康熙元年，也是永历十六年，公元1662年，张煌言又将义军移驻沙堤。在这时，郑成功收复台湾后，建立郑氏政权。而鲁王则身居金门，故郑成功对其衣食供奉“礼数日薄”。

张煌言虽对鲁王仍忠心不贰，且“岁时供亿”不绝，但又“虑成功疑”，故“十年不敢入谒”鲁王。待到张煌言“及闻桂王败亡”后，便“上启鲁王，将奉以号召”。但没有得到郑成功的支持。

五月，郑成功突然病逝于台湾，致使抗清斗争形势更为严峻。张煌言则转战于宁海临门村一带。

这个时候，清廷浙江总督赵廷臣趁张煌言义军处境艰难之际，再次写信招降，张煌言不为所动，并回信拒绝。

十一月，鲁王薨于金门。于是，张煌言只得转战于宁海县临门村一带。还师临门，更使张煌言感慨万千。

于是，清廷浙江总督赵廷臣又坚持不懈，乘张煌言义军处境艰难之际，再次写信招降，张煌言不为所动，并回信拒绝。

义军此时虽多次奋战，然孤悬海上，被迫孤军作战，日渐势单力薄。

为此有人提议将义军队伍拉上鸡笼岛驻扎，张煌言认为此议不可行，鸡笼小岛，四面环海，易攻难守，若遭致清军突袭有全军覆没的危险。

时间一点点过去，反清复明的奇迹一直没有发生，终于在康熙三年六月，张煌言见复明无望，在南田的悬嶴岛解散义军，隐居海岛不出。

然而，七月十七日，清军通过叛徒找到张煌言隐居地，夜半渡岛，张煌言同部属罗子木、侍僮杨冠玉等人被抓。

九月七日，张煌言被清军杀害于杭州弼教坊。当他赴刑场时，大义凛然，面无惧色，抬头举目望见吴山，叹息说：“大好江山，可惜沦于腥膻！”就义前，赋《绝命诗》一首。

而且临刑时，他拒绝跪而受戮，“坐而受刃”，时年仅四十五岁。监斩官见杨冠玉年幼，有心为他开脱。

杨冠玉却断然拒绝道：“张公为国，死于忠；我愿为张公，死于义。要杀便杀，不必多言。”言罢跪在张煌言面前引颈受刑。

张煌言死后由鄞县万斯大等人与和尚超直收尸，并由张煌言外甥朱湘玉到总督衙门买回首级殡敛，并遵照他在《入武林》诗品所表示的愿望，把他葬于杭州南屏山北麓荔枝峰下，成为与岳飞、于谦一同埋葬在杭州的第三位英雄，后人称之为“西湖三杰”。

然后生前的友人叶振名登越王岭遥祭忠魂，撰祭文将张煌言与罗纶二人并称为“张司马二客”。清国史馆为其立传，《明史》有传。

乾隆四十一年清高宗命录前朝“殉节诸臣”，并加以褒谥和祭祀。张煌言被收入《钦定胜朝殉节诸臣录》。清廷对张煌言加谥“忠烈”，且将其牌位入“祀忠义祠”，得享定期供祭。

然而死后殊荣，对于张煌言来说，不如毕生所愿能实现！