Впервые городок Харбург упоминается в документах в 12 веке, тогда он был во владении династии Штауфенов, это одна из самых могущественных династий Европы и самый выдающийся ее представитель — Фридрих Барбаросса. Сейчас замок принадлежит графу Оеттинген-Валлерштайн. Это имя, в первую очередь, знакомо по марке пива, которое производится в пивоварне, которая находится недалеко от замка, в соседнем городе Валлерштайн. Пиво, производящееся здесь, знаменито на весь мир. Замок знаменит еще и тем, что в 2000 году его хотел купить Майкл Джексон, но из-за сильного тумана, стоявшего в тот день, его вертолет не смог приземлиться возле замка, поэтому он отказался от покупки. На территории замка, в его дворе есть хороший ресторан местной швабской кухни.