Bokura wa Minna Kawaisou ceritanya berpusat pada kehidupan Kazunari Usa, seorang siswa SMA yang baru pindah ke asrama bernama Kawaisou. Usa berharap bisa menjalani kehidupan sekolah yang tenang, tetapi rencananya terganggu ketika dia mengetahui bahwa asrama tersebut dihuni oleh orang-orang eksentrik dan aneh.
Di antara penghuni Kawaisou, ada Shirosaki, teman sekamar Usa yang merupakan pria mesum dan memiliki perilaku aneh. Ada juga Mayumi Nishikino, seorang wanita dewasa yang sering mabuk dan memiliki masalah cinta yang tragis. Sayaka Watanabe, penghuni lain, tampak manis tetapi sebenarnya sangat manipulatif. Namun, yang membuat Usa tetap bertahan adalah Ritsu Kawai, seorang gadis pendiam dan kutu buku yang diam-diam dikaguminya. Ritsu juga tinggal di asrama tersebut, dan Usa melihat ini sebagai kesempatan untuk lebih dekat dengannya.
Cerita anime ini cenderung mengikuti interaksi sehari-hari di antara para penghuni Kawaisou, yang penuh dengan momen komedi, kehangatan, dan romansa. lalu disisi lain. Usa berusaha mendekati Ritsu, yang cenderung sulit didekati karena sifatnya yang pendiam dan lebih suka menghabiskan waktu dengan buku daripada berinteraksi dengan orang lain.