Houseki no Kuni berlatar di dunia yang hancur dan terpencil, makhluk-makhluk abadi berbentuk permata yang dikenal sebagai Gems hidup bersama, masing-masing dengan tubuh yang terbuat dari mineral tertentu. Setiap Gem memiliki tingkat kekerasan dan daya tahan yang berbeda-beda, yang menentukan peran mereka dalam masyarakat. Mereka harus bertahan dari serangan terus-menerus oleh makhluk misterius dari bulan, yang disebut Lunarians, yang ingin mengambil mereka untuk dijadikan perhiasan.
Cerita berpusat pada Phosphophyllite (Phos), salah satu Gems termuda dan paling rapuh. Dengan kekerasan rendah dan tubuh yang mudah pecah, Phos tidak cocok untuk pertempuran. Namun, keinginan mereka untuk berguna mendorongnya untuk mencari tujuan lain dalam masyarakat. Phos diberi tugas mencatat ensiklopedia tentang dunia mereka, tetapi perjalanan ini membawa mereka ke petualangan yang lebih besar.
Dalam usahanya, Phos bertemu dengan Cinnabar, seorang Gem yang diasingkan karena sifat beracunnya yang berbahaya, dan berjanji untuk menemukan tempat di mana Cinnabar bisa bahagia. Seiring waktu, Phos menghadapi tantangan yang menguji tekad dan identitasnya, termasuk rahasia gelap tentang asal-usul Gems, Lunarians, dan hubungan mereka dengan dunia yang telah rusak.