Sakamichi no Apollon bercerita tentang Kaoru Nishimi, ia adalah seorang siswa SMA yang pendiam dan introvert. Dia sering berpindah sekolah karena pekerjaan ayahnya, dan hal ini membuatnya kesulitan untuk berteman. Namun, ketika dia pindah ke sebuah sekolah di kota kecil di Kyushu, hidupnya berubah ketika dia bertemu dengan Sentarou Kawabuchi, seorang siswa berandal yang dikenal suka berkelahi.
Meskipun awalnya tampak bertolak belakang, Kaoru dan Sentarou segera menemukan kesamaan dalam kecintaan mereka terhadap musik, khususnya jazz. Sentarou memperkenalkan Kaoru kepada dunia musik jazz, dan keduanya mulai bermain musik bersama di ruang bawah tanah rumah teman mereka, Ritsuko Mukae, yang ayahnya memiliki toko musik.
Seiring waktu, persahabatan antara Kaoru, Sentarou, dan Ritsuko semakin dalam, dengan musik jazz sebagai penghubung di antara mereka. Namun, hubungan mereka juga diuji oleh cinta segitiga, perbedaan latar belakang, dan berbagai masalah pribadi yang mereka hadapi.
Kaoru mulai mengembangkan perasaan untuk Ritsuko, tetapi Ritsuko sendiri memiliki perasaan tersembunyi terhadap Sentarou. Sementara itu, Sentarou juga harus menghadapi masa lalu dan tanggung jawab keluarganya yang rumit.