遣返协议规定，战俘所属国家可派两类人员进入战俘区。
一类人是“解释代表”，他们要与逐一被带进“解释帐篷”的战俘见面，进行“解释”工作，让他们选择是否要回国。如果战俘表示愿意，就会被立即带走，遣送回国。而如果表示“不愿意”，就要允许其返回战俘营。
另一类人是“观察代表”，任务是观察现场情况，战俘动态，解释后的处理，也要观察解释代表的工作是否有漏洞，将各类情况上报。
时任中国外交部政策委员会副会长兼国际新闻局局长，以志愿军谈判代表团“指导员”身份坐镇现场的乔冠华在给作准备工作的代表们做报告时说，两万多战俘里的剩余部分，只要解除特务统治，采用个别解决的办法，就“可以争取大批回来”。对不愿意回来的人“要在政治上作交代”。
而在准备听取解释的战俘方面却是另一番情景。根据志愿军观察代表了解到的情况，战俘们“发动群众想办法”来讨论“如何对付解释代表”。发了一个一百八十天的表（显然是台湾方面的杰作），过一天，划一天。想出对抗的方法是，用集体解释代替个别解释，你解释，我就唱歌，打球。在个别解释时“提出很多反动问题”质问解释代表。有的甚至暗藏刀片类的凶器对代表行凶。
这样一来，解释代表和战俘之间的关系从应有的合作依赖的关系变成了一种几乎是敌视和敌对的关系。
解释工作于九月初开始后，在代表们提供的报告里，一方面有每天有多少战俘未经解释就跑到中朝代表一方，要求遣返回家。另一方面也有为数众多的战俘在解释的场区内采取敌视的态度，拒绝听取解释，喧嚣，挑衅，甚至对代表实施暴力行为。代表团各级领导在各种会议中提到这类问题时，有很多内容是关于：战俘在听取解释时无理取闹怎么办？被干扰地无法说话讲不下去怎么办？战俘拒不出席见面怎么办？战俘如果在现场使用暴力，甚至骚乱，暴动怎么办？
面对这样的情况，志愿军方面一方面在内部给代表们打气，要求排除干扰，不要泄气。另一方面向执行对战俘执行拘留任务的中立国提出要求，对进行破坏的特务分子使用武力，但遭到中立国的拒绝。瑞士和瑞典表示，如果要使用武力，他们将退出中立国遣返委员会。印度则表示，如果因为使用武力出现伤亡，将造成世界舆论，事情会不好办。
进入十月下旬，志愿军代表团的会议报告内容明显体现出，对解释工作的前景已经有了不同的估计。一是指出“争取大批战俘回来”的认识是“不正确的”。因为先后已经经过两次解释，能回来的已经都回来了，剩下的都是“特务分子”，“解放成分或和台湾有关系的”，还有的是“新成分，受革命教育不如反革命教育时间长”。二是针对代表团内部的失望泄气情绪，提出要大家坚持，不要泄气。可以看出，到这时的解释工作重点，已经从能争取多少战俘回来转变为如何能正常维持这个进程。不得不说，到了这个阶段，解释工作已经基本沦为成了一个“明知不可为，却要不得不为”的面子工程。
十二月二十三日，中朝方面致函中立国遣返委员会，指出因为联合国军方面放任各种特务分子在战俘中的各种鼓动和威胁行为，至使多数战俘拒绝出席解释会面，未能对其进行解释工作。同时用于解释的场地修建拖延也造成有效的解释时间不足，因此应将解释结束时间顺延，达到规定的九十天。
一九五四年一月七日，金日成彭德怀联名致函中立国遣返委员会，指出联合国军方面对解释工作未能顺利进行应负主要责任，而中立国遣返委员会未能有效地履行职责也是有责任的。信中要求，中立国遣返会员会应该对战俘实行隔离以打散特务组织，消除所有特务分子，恢复解释工作，并补足九十天的解释时间。
而中立国方面却对此有不同看法。瑞士瑞典方面认为；因为政治信仰不同而反对共产主义，不能算是特务。中立国遣返委员会主席，印度陆军中将蒂玛亚则说，特务太多了，没办法隔离。把他们都隔离开，以后都不出来听解释怎么办？我只能通过那些特务代表对战俘进行工作，除了他们没有其他人可以说服余下的战俘。我能让他们来个别听解释就已经是很大的成就了。如果你们坚持要遣返委员会使用武力，只会带来失败。
美国国务卿杜勒斯则表示，坚决反对解释工作顺延，并表示，美国将于一九五四年一月二十二日午夜，将所有尚未遣返的战俘释放，使之成为平民。
中立国遣返委员会没有接受中朝方面的要求，于一九五四年一月二十日上午八点三十分将剩余的中朝战俘重新交还给联合国军方面。中立国印度，瑞典和瑞士于二月十八日决定解散中立国遣返委员会。中立国波兰和捷克斯洛伐克以及中朝方面对此强烈反对，但无效。
中立国遣返委员会的解散，标志着朝鲜战争停战后，被列入“自愿遣返”的战俘遣返工作到此结束。在此期间的战俘遣返工作有如下成果：
志愿军军方面：“自愿遣返”战俘总数一万四千七百零四人，经过解释遣返回国的有四百四十人；有十二人决定去了印度；十七人死亡，逃跑或失踪；一万四千两百三十五人决定返回联合国军的战俘营，后来去了台湾。
人民军方面：“自愿遣返”战俘总数七千九百人，其中一百八十八人经过解释返回北朝鲜，七十四人去了印度，三十四人死亡，逃跑或失踪。七千六百零四人去了南朝鲜。
南朝鲜军方面：“自愿遣返”战俘总数三百三十五人，其中八人经过解释回到南朝鲜，两人去了印度，其余返回北朝鲜。
美英方面：二十三名美国人及一名英国战俘中，有两名美国人经过解释回到美国，其余选择去了中国。
后记：
留在中国的美英战俘大都被分配到了工厂或农场工作，并在当地成了家。其中一人在到达中国后不久去世。其余绝大多数于五六十年代返回到了美国或英国。
霍华德-亚当斯（Howard Adams）和詹姆斯-乔治-维内利斯（James Geroge Veneris）是美英战俘中的两个在中国长期生活下来的。
霍华德-亚当斯在中国居住到了上世纪九十年代，但拒绝任何采访。所以找不到任何有关信息。
詹姆斯-乔治-维内利斯被安排到了山东济南的一家工厂，有一个中文名字叫“老温”。一九六三年被批准进入中国人民大学学习。毕业后回到同一家工厂。他后来加入了中国共产党。在文革期间，他不出意外地被“特殊”对待。他被指控为“美国特务”，到中国来是“负有特殊使命”，被批斗，关押，送去做苦工。文革后一九七七年进入山东大学任英语教授。他后来曾两次访问美国。二零零四年在中国去世，埋葬在山东。他在中国育有一个女儿和一个儿子，他们在中国长大，于上世纪九十年代移居美国。
一九九六年，美国《纽约时报》援引刚刚解密的文件透露，美国国防部在朝鲜战争结束时就知道，有大约九百名的美国战俘仍然被北朝鲜扣押，从未释放。但美国国防部对此没有证实，称没有明确证据表明仍然有美国人在违背自己意愿的情况下被关押在北朝鲜。北朝鲜则声明没有扣押任何美国人。
被送到台湾的一万多志愿军战俘，受到台湾官方民间的热烈欢迎，并以“反共志士”相称。这些人的大多数被补充到国民党军队里，为当时将多兵少的台湾军队增添了难得的一股力量。但若干年后，这些人年老体弱退出军队后，其经历却各有不同。经商从政的成功者有之，但也有很多人受累于文化和技能低下，只能从事简单工作，生活在社会的底层，成为“台湾老兵“这个特别族群的一部分。八十年代台湾开放民众赴大陆探亲后，很多人也随之回到大陆。他们自一九五三年以后的故事，也被越来越多的人所知晓了。
