战俘问题成为了朝鲜停战谈判中最大的一个障碍，这一点恐怕谈判双方事前都未想到。
按照日内瓦公约，在战争结束后，双方应立即释放全部战俘。对这一点，谈判双方没有异议。但是如何释放，却有很大分歧。
中朝方面提出：组织遣返机构，尽快遣返全部战俘，地点在板门店。
联合国军方面提出：让国际红十字会先访问战俘营，交换俘虏名单，在一对一的基础上交换，交换后剩余的战俘在宣誓“不再参加战争”后，原地释放，由其自行决定去处。
联合国方面的提议被中朝方面拒绝，理由是一对一交换的方法等同于“人口买卖”，但真正没有说出的理由是：联合国军手中的战俘数量远大于中朝方面手中的战俘数量。同时，由于当时意识形态的影响和认识的局限性，中方当时将国际红十字会视为联合国军方面的帮凶，认为让他们视察己方的战俘营是“干涉内政”，并怀疑他们会为美国搞情报。
关于双方战俘数量，日记里有多处提到，因为涉及的问题不同，随着时间推移，又有不断地调整，所以显得挺乱。而在其他人的回忆录或著作中，有关的数字也有差别，但大致吻合。如果按日记中《七月一日——王处长报告战俘问题》的内容，双方在一九五一年十二月相互交换的战俘名单是：
中朝方面拘押的联合国军战俘数：11559名， 其中美英等外籍战俘4417名， 南朝鲜战俘7142名。
联合国军方面拘押的中朝方面战俘数：132474名，其中志愿军战俘20700名。
从日记内容看，双方就对方交来的名单数量争论了相当时间。
联合国军方面认为：中朝方面交来的名单数量少了。因为中朝方面在以前公布战果时曾宣称俘虏对方65363人，现在却只有一万多人，那五万多人哪去了？中朝方面对此的回应是“放了”。这个解释在一定程度上是真实的。因为至少在志愿军方面，在战争初期，的确有意识地释放了一批战俘，以作为隐藏自己下一步战略意图策略的一部分。但在此之后就意识到这样做的结果对处理战后的事情很不利，所以很快停止了这种做法。在战场上放了五万多人显然是不可能的。这其中一个原因就是北朝鲜方面将南朝鲜俘虏直接补充了自己的部队，这些人自然不会列在俘虏名单上。有关这样的事，在近年的韩国电影中有过很多类似的情节。而另一个可能的原因就是为了宣传而有意或无意识地夸大了战果，最终使得在名单数量的问题上处于被动。
中朝方面对联合国军方面的名单也同样提出很多问题。首先是内容混乱，数量和名字不符，有很多重复，其次和红十字会方面的名单比较相差好几万人。甚至将其扣留的平民也混在其中。
由这些争论内容可以看出，在谈判中，一旦双方手里的筹码不对等，可以博弈的空间就很有限了。记得以前听父亲说起过：在朝鲜停战谈判交换战俘的过程中很被动，因为如果以一换一的话，根本没法将所有人都要回来。
除了战俘名单问题问题之外，如何遣返成为了达成协议的最大障碍。中朝方面要求必须全部无条件遣返。而联合国军方面则称：遣返可以，但不能强迫。联合国军方面提出了一份八万六千人的名单，声称这些人不愿意被遣返，应该尊重他们的意愿。当然这是表面上的理由。而真正的用意显然是要利用这个结果来羞辱中朝方面：这么多的战俘不愿意回到共产党统治下，谁好谁差自然明了。
就朝鲜战争而言，南北朝鲜双方争夺的其实就是土地和人力。反应到战俘问题上，自然就是要到的越多越好。由于谈判双方手中的筹码不对等，这就迫使中朝方面调整立场，将条件修改为：
- 朝鲜籍战俘家在拘留地一方的，只要是回家，就不必遣返。
- 平民如果不愿意返回原居住地，不必遣返。
- 双方收容的外籍战俘全部遣返。
这个修改内容影响最大的是朝鲜人。这意味着，在联合国军战俘营中的人民军战俘，如果家在南朝鲜（显然指的是那些被北朝鲜军队在越过三八线后所征召的士兵，或者将南朝鲜军队俘虏补入北朝鲜军队后又被联合国军俘获的士兵），只要表示不再当兵，就可以回家了。被联合国军扣留的几万平民，如果愿意，也可以留在南朝鲜。但是志愿军战俘仍然必须全部遣返。
联合国军方面仍然坚持“不能强迫遣返”，将其扣留的战俘分为“愿意遣返”和“拒绝遣返”两种。因而提出三个选项：
- 将全部战俘送到非军事区，经过核查，如果战俘本人愿意回到被拘留的一方，就允许其返回。剩下的则全部遣返。
- 由中立国出面，征询每个“拒绝遣返”的战俘的意愿愿意去哪里。
- 将战俘送到非军事区，然后由其自行决定去哪里。
显然，这样的安排表明，联合国军方面仍然相信，愿意留在联合国军方面的是多数。
中朝方面拒绝了上面全部选项。理由是：如果在美国和台湾蒋介石的特务控制下，战俘无法表达自己要回国的真实意愿。进而提出了反建议：
- 将全部战俘送到非军事区，交由己方人员管理，然后核查战俘个人意愿，决定其去处。
这个建议显然是全部遣返的变通，因为战俘在己方人员控制下，也同样很难表达不回国的愿望。
面对这种僵持的状况，谈判双方各自内部都产生了不同意见。
对北朝鲜而言，上述几种方式的结果其实都是一样的：南北朝鲜人各回战前的家乡。而目前问题的焦点实际就是志愿军战俘的去向。不能达成协议，就要继续打和流血，但军事分界线已经基本确定，己方的战俘归属也已明确，再打下去对北朝鲜毫无意义。因而就出现了前面所述北朝鲜方面对中国方面抱怨的情况，理由是：被扣留的志愿军战俘的大部分都是原来从国民党军队俘虏过来的，为了这些人大动干戈不值得。
在美国方面，对是否全部遣返也有异议。“战后双方立即遣返全部战俘”是《日内瓦公约》的要求。美国虽然当时尚未在该公约上签字，但此前已经公开表示会遵从该公约的条款，拒绝全部遣返就违背了公约。美国军方的李奇微和国务院的艾奇逊对此都不赞成，希望能有一个全面的解决办法。因为他们担心，一旦开此先例，在将来的战争中有可能阻碍美国战俘的遣返，并且在当下，为共产党方面提供了宣传的口实。而美军方另外有人则提议，可以将志愿军战俘中不愿回国的人交给台湾的蒋介石。因为既然认为台湾是中国的一部分，那么交给台湾也算是回国了，并没有违背公约。美国总统杜鲁门最终统一了内部意见：不能简单地以“全部”换“全部”，除非联合国军方面能得到对方用任何其他途径都得不到的重大让步。
谈判双方在此问题上争执不下，都指责对方违反了《日内瓦公约》：美方说中朝方面拒绝国际红十字会访问战俘营，是违反公约的行为，中朝方面则回击“全部战俘遣返是日内瓦公约规定的，你为什么不照办？有什么资格谈公约？”此种语境，让当今畅游互联网的网民们恐怕都会产生一种非常熟悉的感觉。
一九五二年十月八日，双方在板门店开会。中朝方面首席代表南日告知联合国军方面，他们的三个方案都不可接受。联合国军方面代表哈里逊当即发表声明，称中朝方面的立场“不合理，自相矛盾，不人道”，联合国军方面无法再提出新的建议，建议无限期休会。
停战谈判就此陷入僵局。
联合国军方面的第一位首席谈判代表，海军上将乔伊对此后来说过，美国拒绝遣返全部战俘的立场，使我们付出了多打一年仗的代价。在此期间，联合国军方面在战斗中死伤的人数，远大于战俘中不愿意遣返的人数。为了避免被俘的敌方士兵将来免遭厄运而去牺牲己方士兵的生命，这种道德价值“极其狭隘”。
在朝鲜谈判双方争执不下陷入僵局的同时，各方又通过联合国大会提出各自的建议。
苏联代表于十月二十九日提出一个提案：双方立即停火。由美，英，法，苏联，中国，印度，缅甸，瑞士，捷克斯洛伐克，及南北朝鲜组成一个朝鲜问题委员会。有关停战及战俘的一切问题都交给这个委员会去解决。按委员会成员的三分之二的多数意见作决定。该提案被联合国大会政治委员会拒绝。
印度代表团团长梅农于十一月十七日提出另一个提案：由四个中立国组成一个遣返委员会处理战俘问题。停火后90天，尚未遣返的战俘由高一级的政治会议解决。再30天后，仍未回家的战俘交联合国处理。
印度提案在经过修正后得到了美国的支持，在联合国政治委员会里得到53票支持，5票反对，最终在联合国大会得以通过形成决议。决议表示要按日内瓦公约确立的原则和有关规定执行，并且“肯定不应对战俘使用武力阻止或使他们返回家乡”。
中国外交部长周恩来为此致电联大主席，明确表示反对此项提案，因为“遣返委员会不能解决问题”，“在遣返委员会管理下的战俘无法避开美蒋方面的特务分子威胁”。印度提案因此也被搁置。
时间到了一九五三年三月，斯大林逝世。在他之后的苏联政府大幅修正了对朝鲜战争的态度。而在此之前不久，联合国军司令克拉克给中朝方面写信，建议先交换伤病战俘。在此之前的一九五二年五月，联合国军曾经有过类似建议，中朝方面先表示在全部遣返的前提下可以，后来又表示等到签字后再交换也不迟，因而未能实现。这次再次接到同样的建议，则马上表示同意。
三月二十八日，金日成和彭德怀给克拉克复信，同意这个建议。
三月三十日，周恩来发表声明，表示“应立即开始交换伤病战俘的谈判，并进而谋求战俘问题的通盘解决”。同时声明为了解决分歧，同意“在立即遣返所有坚持遣返的战俘后，剩余战俘转交中立国管理”，以保证遣返问题的“公正解决”。就声明的内容所看，实际上就是前面已经被拒绝的印度提案的翻版。
三月三十一日，金日成发表声明对此表示支持。
四月一日，苏联外长莫洛托夫发表声明表示支持。在第七届联合国大会政治委员会上，苏联代表团团长维辛斯基也发言表示支持。
至此，全部障碍被消除。停战谈判联络组会议于四月六日恢复。四月十一日双方达成遣返伤病战俘的协议。
关于中方这样重大的立场变化，中国方面谈判代表柴成文在回忆录中写道，这是“为了满足世界人民的和平愿望”而给美国的“一把下台的梯子”，是为了解决“久拖不决的战俘问题而作的必要的妥协”。
在伤病战俘遣返协议 达成后，双方于四月二十六日恢复谈判，讨论全部战俘遣返问题。中朝方面首先提出一个“六点建议”，后来根据讨论结果又修正为“八点建议”。在此基础上，经过双方的讨价还价，最后达成以下协议：
- 全部“愿意遣返”战俘在停战协定签字后两个月内遣返完毕
- 全部“拒绝遣返”的战俘应在协定签字后六十天内，由原拘留方的控制下释放，在朝鲜境内转交给由波兰，捷克斯洛伐克，瑞士，瑞典，印度五国组成的中立国遣返委员会看管。
- 由战俘所属国家派人向战俘进行为期九十天的解释工作。解释后，愿意遣返的战俘应立即遣返。
- 九十天的解释结束后如还有未被遣返的战俘，应交由政治会议在三十天内解决。
- 如果政治会议未能为剩余战俘协商出解决方法，则由中立国遣返委员会在三十天内宣布解除其战俘身份，使之成为平民，并协助他们前往他们申请要去的地方。
由协议的最终结果看，中国在所有谈判各方中作出了最大的让步。最后签字同意的内容，几乎与七个月前所拒绝的相同。
反之美国方面，尽管最初的提案也被有所修正，但他要求的基本内容都被保留了。
如果中美双方都能事后检讨一下各自的谈判立场，就会发现，他们所各自坚持的都没有带来所期待的效果。
美国为了羞辱对方，提出了一个“道德价值极其狭隘”的提案，为此却要付出伤亡数万人的代价。
而中方对于第三方的提案，先是拒绝，七个月之后又接受——由坚持必须“全部遣返”，转而被迫接受“自由遣返”，除了使战争又延长几个月，徒增伤亡之外，别无所获。
