每次有进城的机会，江上飞都会用自己不多的工资买来一堆的英语书，在当时还不太富裕的情况下，江上飞还用两个月的工资，买了一个CD随身听和几盒英语CD，从简单的“ABCD”学起。而在工作中，每次有外籍船舶进港，江上飞都主动请缨参加监护，因为只有这样他才能接触到国外船员，争取到与他们进行对话的机会。
一开始江上飞一句英语都不会说，只能靠着模拟别人讲话和比划手势与国外船员进行沟通，慢慢地，随着交流的越来越多，英语书籍看得越来越多，江上飞摸索到了英语的技巧。几个月后，他开始能够与国外船员进行简单交流了；一年多以后，他基本能够熟练跟国外船员进行深入交流了；而在三年后，他顺利通过了全国英语基础三级考试；十年后他通过了全国专业英语六级考试；十五年后，他的英语水平已经达到了专业八级的水平。
“学英语必须要有一个环境，它倒逼着你去应用它，就像我们的汉语母语，你每天说，自然就能说得顺溜。”在后来江上飞作为一名边防检查站领导后要求检查员大胆说英语时，总是这么教育和鼓励同志们。