Kanojo ga Flag wo Oraretara berpusat pada Souta Hatate, seorang siswa SMA yang memiliki kemampuan unik untuk melihat “flag” di atas kepala orang-orang. “Flag” ini merupakan tanda visual yang melambangkan kejadian-kejadian penting dalam hidup seseorang, seperti flag kematian, flag persahabatan, atau flag cinta. Dengan kemampuannya ini, Souta bisa memprediksi dan mengubah masa depan seseorang dengan cara “mematahkan” atau menghindari flag tersebut.
Setelah mengalami tragedi dalam hidupnya, di mana ia menjadi satu-satunya yang selamat dari kecelakaan kapal, Souta menjadi pribadi yang tertutup dan tidak ingin terlibat dengan orang lain. Ia pindah ke Akademi Hatagaya untuk menjalani kehidupan yang tenang. Namun, hal itu berubah ketika beberapa gadis mulai mendekatinya dan menjadi teman dekatnya, terutama setelah mengetahui kemampuannya melihat flag.
Souta akhirnya tinggal di asrama bersama beberapa gadis yang memiliki kepribadian unik, termasuk Akane Mahougasawa yang ceria, Nanami Knight Bladefield yang misterius, dan beberapa karakter lain. Bersama-sama, mereka terlibat dalam berbagai situasi komedi, romansa, dan petualangan, di mana Souta terus menggunakan kekuatan spesialnya untuk melindungi teman-temannya dari bahaya.
