Сиба-ину — самая маленькая и, возможно, самая древняя из японских пород. Первые собаки попали на острова в VIII–VII тысячелетии до н. э., их привезли переселенцы из континентальной части Юго-Восточной Азии. Археологические находки показывают, что уже тогда они помогали людям на охоте. Сиба-ину были не только охотниками, но и хорошими компаньонами для самурая. Изображения эпохи Дзёмон подтверждают существование небольших собак со стоячими ушами и закрученным хвостом — предков современных сиба-ину в древней Японии, что доказано и по ДНК. Таким образом, сиба-ину значительно старше многих других известных пород.
История породы тесно связана с историей Японии. Из-за многовековой изоляции страны коренные породы долго сохранялись в чистоте. После Реставрации Мэйдзи в 1868 произошла модернизация страны, к началу XX века Япония уже активно контактировала с зарубежными государствами. На это же время, конец XIX – начало XX века, пришелся кинологический бум, иностранные собаки стали массово завозиться, и японские породы оказались на грани исчезновения из-за скрещиваний. В стране возникло движение по сохранению традиционных японских собак.