“小学”二字最早并不专门指学校。
西汉时称“文字学”为“小学”,唐宋以后又称“小学”为字学。读书必先识字,掌握字形、字音、字义,学会使用。周朝儿童入学,首先学六甲六书(六甲指儿童练字用的笔画较简单的六组以甲起头的干支。六书即指事、象形、形声、会意、转注、假借),所以从前把“文字学”称“小学”,“小学”之名即由此而得。而小学校来自日语,即“小学”之意,为台湾日治时期,自1898年起,以中央或地方经费所开设的儿童义务教育学校学制之一。在同一时期,当时台湾最高统治机关—“台湾总督府”还依照台湾实际情况,将此以儿童义务为主的学校,除了此小学校设置之外还设有公学校、蕃人公学校及蕃童教育所。