榆林塞就在现今的陕西省榆林。战国时期，北方边塞之地多植榆为围栅。秦统一中国，北逐匈奴，收复河套地区后，在这里栽植很多榆树，榆林塞之名大概由此而来。以地处榆溪（今清水河）之畔，亦称榆溪塞，成为秦北边一戍守地。隋时以此地为中心筑起长城，遂成为隋长城的要塞。