1955年2月，台军方开始进行第一批的居民与军队的撤离，由蒋经国负责指挥进行相关行动。撤离的行动一共进行了四天，至2月11日完成最后一批居民与军队的撤离，此时大陈岛上已无居民。
经过多方评估后，最后台当局决定主动撤离大陈岛，将大陈岛上的居民与军队全数迁移至台湾，加强巩固对台湾的防守。
撤离的大陈居民先是都在基隆港上岸，而后台湾政府将其安置到全台湾各地，包括花莲、台东、台北、高雄都有大陈岛的居民被安置，后代则散布在全台各地。大陈岛当时有多少居民，蒋介石就大陈岛撤退发表的《告海内外同胞书》中说是一万七千人。
图为参与大陈岛撤退的美军士兵。总计大陈岛四天一共撤离了全数大约2万8000名的居民与军队。国军撤离前，将遗留的码头、渔船悉数毁坏。
图为大陈岛军民登舰撤往台湾。
图为准备撤退的大陈岛民。
大陈岛居民登舰撤往台湾。
参与大陈岛居民撤台的美军Harold Grant 准将和Earle E.Partridge中将。
登上去台军舰的大陈岛居民。
撤往台湾的大陈岛居民。
整队待命撤往台湾的国军。
图为国军撤退前夕搬运岛上物资。
撤往台湾的大陈岛居民。
参与大陈岛撤退的美军
经历过战火洗礼的两个小朋友
大陈岛撤退影像纪实在台北中正纪念堂展出，用大量珍贵的资料照片和影像来讲述那段历史。
“大陈岛在哪儿啊？”一位中年女性一边看展览一边问一起来的父亲。还没等父亲开口，旁边一位来自浙江的老年游客便跟她介绍起大陈岛来。大陈列岛是浙江台州湾外的一群岛屿，主岛为上、下大陈岛，北有渔山岛、头门岛、一江山，南有竹屿、批山、南麂等岛，土地贫瘠，居民以打渔为生。1955年1月，解放军一举攻克大陈岛北方的屏障一江山岛，盘踞在大陈岛的国民党军队见大势已去，决定撤出群岛上所有军民。当时，大陈岛到处传唱着《台湾好》这样一首歌，直到2月1日，岛上贴出通告，居民才知道要撤去的地方是台湾。一些年事高的人不愿意离开故土，当时不愿离开大陈岛的老人有3位，其中有位70多岁的老太太，蒋经国还专门去劝说，但老人最后还是坚持留在了岛上。共有300多人因为发牢骚或者唱共产党的歌，被国民党视作“思想有问题的人”，被丢弃在了上、下大陈岛之间的小岛上。
米面丢进海里、带不走的武器扔到海里，刚修好的水库炸掉，岛上布满地雷和铁丝网，国民党把这样的一个大陈岛留给了解放军。
在基隆停留一两个星期后，大陈岛居民被按照渔、农、工、商等进行登记，再安置到各县市，陆续住进大陈新村，里面浴厕共用，人均居住面积不到3.3平方米，这样的新村当时有36个，其中高雄的人数最多。因为不懂国语和闽南语，大陈人形成了一个不开放的群落，家里罕有非大陈人的客人，甚至出门被问起来的时候会否认自己是大陈人。作为大陈人后裔的台“交通部长”叶匡时还爆料，他念小学时，学生大部分来自大陈新村，同学们都用台州话聊天，但老师听不懂，于是学校下令，禁止在校时使用方言。
但大陈的记忆并未连根拔起，年糕、刺绣、清糕，这些都融进台湾的日常生活里。随着两岸交流的深入，不少人选择了回家看看。2009年，浙江象山县官方赴台拜访大陈乡亲，并邀他们回乡参加“开渔节”。10年前，叶匡时曾陪母亲回到大陈岛，当时两岸还未直航，他觉得千里迢迢。如今，虽无航班直飞大陈岛，却可以飞到离大陈岛不远的宁波，而大陆“中远之星”客运轮更开航了基隆到台州的海运航线，缩短了大陈人的回乡路。
