1959年12月底，在罗帅的推荐下，准备调在高等军事学院学习的吴瑞林到东海舰队担任司令。这个建议得到军委的同意，但情况因陶勇多次要求留下，从而改变吴瑞林的任职。

上级将原南海舰队司令赵启民担任海军副司令，调吴瑞林担任南海舰队司令。

让他到海军任职，可是费劲。按照其他将领来说，上级调令一到，就走马上任，让吴瑞林去海军做大量工作。

因为东海舰队出现重大安全事故后，上级准备外调干部接替工作，重新整顿。可陶勇在经过诚恳的要求下改变上级的任命，陶勇在事故并不是直接领导，是基地舰艇与潜艇相撞，作为舰队主官要负领导责任，把陶勇调出来，怎么说也不甘心。东海舰队成立最早，战斗力最强，陶勇的战绩也很耀眼，在东南海防功劳不小。

吴瑞林得知去海军任职，也是百般推辞，总政部副主任肖华约谈，告诉他后，海军司令萧劲光宴请他赴家宴，谈起在东北打仗的经历。也谈起南海舰队现状，以及国际形势。说到南海舰队力量薄弱，美帝的侵略重心转向南海，我们要跟上形势。

可他对萧劲光司令说，自己文化不高，海军是技术军种，自己胜任不了。而且愿意在下边干，不愿意在领导机关工作。1955年上级让他到广州军区工作，那时候也不愿到领导机关工作，愿意在军队工作。

谈了很长时间，没有给肖司令一个准确的态度。

第二天，政委苏振华请他到家中，说的一番话就是拉拉距离感，抗战时期你在鲁中，我在鲁西虽然没有见面，但从战报上看到你在鲁中与敌人进行斗争，并列举他的两次作战。有说到解放战争时，他在辽南作战，入关作战都受到军委表扬。

他清楚知道，苏政委说这些都是一个目的，要自己到海军工作。

苏政委谈话后，其他说客也不少，他在思考，因为情况突然，自己思想还没有扭转过来。上级让他列席南海舰队工作汇报，先让他听听。他清楚知道去不去实际上已经成事实了，改变的可能性不大，最终同意去南海舰队赴任。

1960年1月4日正式转入海军，在担任南海舰队司令员时，从开始全舰队2万人，发展到7万，舰艇从2万吨增加到5万多吨，形成一线、二线、三线的有层次性的配置。