Masyarakat Jepang menggunakan tempat penyimpanan es tradisional bernama himuro.
Es yang dikumpulkan selama musim dingin disimpan agar dapat digunakan pada musim panas.
Pada zaman Nara (710-794), es disimpan di tempat penyimpanan khusus yang berkaitan dengan Kuil Himuro.
Es tersebut kemudian dipersembahkan kepada Istana Heijo pada musim panas.
Para bangsawan menikmatinya dengan cara menyerut balok es dan menambahkan pemanis dari tanaman merambat.
Tradisi tersebut menunjukkan bahwa es serut dahulu merupakan makanan istimewa yang dinikmati kalangan bangsawan Jepang.
Kakigori mulai semakin mudah dinikmati masyarakat umum setelah teknologi pembuatan es dan mesin penyerut berkembang pada zaman Meiji (1868–1912).
Dalam publikasi Highlighting Japan yang diterbitkan Pemerintah Jepang, perkembangan teknologi tersebut mendorong kemunculan toko-toko yang menjual es serut pada musim panas.
Pada masa berikutnya, penggunaan lemari es di rumah semakin meluas, terutama selama periode pertumbuhan ekonomi Jepang sekitar 1960-an hingga 1970-an.
Perubahan tersebut memungkinkan masyarakat membuat kakigori sendiri menggunakan alat penyerut es rumahan.