Setelah terbentuk Tentara Keamanan Rakyat (TKR), Ahmad Yani diangkat sebagai Komandan TKR Purwokerto. Tahun 1948 dirinya ikut beroperasi dalam menumpas pemberontakan PKl Muso di Madiun. Pada Agresi Militer Belanda II dia diangkat sebagai Komandan Wehrkreise II daerah Kedu.
Ahmad Yani juga membentuk pasukan istimewa dengan nama Banteng Raiders selama bertugas daJam menumpas pengacau Darul Islam/Tentara Islam Indonesia (DI/TII) di Jawa Tengah. Selesai tugas itu, dia mendapat tugas belajar pada Command and General Staff College di Amerika Serikat. Ini membuat Ahmad Yani kerap mendapat isu sebagai antek-antek Amerika Serikat oleh kubu anti-barat.
“Hampir setiap hari (PKI) bikin aksi terus di Stadion Senayan (kini Gelora Bung Karno), bikin rapat raksasa. Tentara seperti ayah saya ini yang sekolah komando di Amerika, disebut Jenderal Pentagon yang berkulit sawo matang,” paparnya lagi.
