20世紀60年代以后，很多國家認識到，戰斗機不能單純地追求飛行速度快，還要賦予戰斗機良好的機動飛行能力。于是，圍繞這個新課題，各國飛機設計部門進行了一系列探索，研制的新型戰斗機逐步朝著機體大、設備全、技術復雜的方向發展。而我國采取的卻是另外一種做法，即通過縮小機體，減輕起飛重量來有效地提高飛機的機動性能。就我國當時的技術儲備情況而言，這是最為現實的一條途徑。1968年4月，我國空軍提出了研制“小殲”（即后來的殲12）的計劃，也就是研制出一種高度機動靈活、短距起落、中低空性能好、維護簡單、造價低廉的小型戰斗機。

經過反復論證，多方征求意見，1969年7月，國營洪都機械廠（現航空工業洪都）完成了方案初步設計。1970年3月，第三機械工業部正式下達文件，命名該機為“殲擊12型飛機”，簡稱“殲12”，并確定了“輕、靈、短、快”的設計思想。

為了實現這一目標，在研制過程中，殲12大膽突破并采用了一系列新技術、新工藝、新材料。如機身和中翼整體油箱、大面積的雙曲面金屬蜂窩結構、碳纖維復合材料壁板、鈦合金板和鋁合金起落架等，此外還首次使用數控繪圖機完成了機身、機翼、尾翼的理論模線，這一新技術的運用，改變了國營洪都機械廠幾十年來用鋼針徒手繪制模線的歷史，使畫出的幾何圖形更加精準。工廠專門成立了殲12飛機高低速模型加工小組，僅用兩個月的時間就完成了高低速全機測力吹風試驗模型的制作任務。與此同時，全機結構打樣和系統原理設計也基本完成，成輔件電子設備的選用也基本落實，殲12飛機的研制工作進展順利。

1970年6月，工廠組織飛機設計、工裝設計、工藝技術人員以及干部、工人組成的新機試造單位，集中了各方面的技術力量100多人，主要承擔工裝設計、工藝規程編制、零組件加工、飛機初裝等任務。他們工作在試制現場，哪里出現問題，哪里就聚集著相關人員研究問題，解決問題。

殲12原型機采取了交叉作業的方式，邊設計、邊試驗、邊做生產準備、邊試制生產零件、邊進行組合裝配。廠房內懸掛著“備戰、備荒、為人民”和“要準備打仗”的大幅標語，參加試制的工作人員，有的忘記了自己在“文化大革命”中遭受沖擊、迫害帶來的苦惱，晝夜苦干。設計、工藝、生產技術人員和工人緊密結合，共同為試制殲12緊張忙碌。為了搶時間，早出飛機，許多人幾天幾夜不休息，連續工作，困了就趴在辦公桌上打個盹，領導讓他們回去休息，可他們出去用冷水沖把臉，就又回到生產崗位。廠領導也親臨一線進行指揮，后勤人員將飯菜直接送到現場。那種勁頭和精神，既令人感動，又讓人心疼。經過5000多次全機外形、進氣道尾噴流顫振等風洞試驗，37項靜力試驗，近50項系統模擬試驗，殲12原型機終于研制完成。

1970年12月26日，01架殲12成功進行了首次試飛。空軍第14師大隊長徐少臣在首飛后表示：“飛機重量輕，起飛加速快，空中穩定性和操縱性良好，轉彎半徑小，機動靈活。”一席話肯定和證明了殲12飛機的研制是成功的。