Сградата е построена през 1801г. на мястото, където се е намирала градината на Стария сарай (двореца на пашата) и е била използвана за конак на еничерите. В съседство с нея се намира оръжейна работилница, с която са били свързани посредством покрит дървен мост.
След Освобождението тя е била съд и казарма на българската войска. Казармата е масивна двуетажна сграда със застроена площ към 1260 кв.км. във формата на равнораменен кръст. Всяко крило е с коридорна планова схема при различно разположение на помещенията. Вътрешното разпределение на сградата е преустроявано и променяно няколко пъти съобразно с изискванията на новите служби. Не е известно първоначалното й разпределение. Стълбите, свързващи двете нива, също са преустройвани многократно и не е известно оригиналното им място и вид. Стените в приземието и етажа са изградени от камък и тухли на варо-пясъчен разтвор.
Във вътрешното пространство на казармата особено внушително се възприемат четирите стълби с отсечени ъгли, галерията, подчертаната монументалност на средищното ниво, решено през два етажа. Влизайки в това централно ядро на сградата, човек възприема представителната му тържественост, както и естественото насочване на ходовата линия към четирите срещуположно разположени на нивото на два етажа коридори.
В "Кръстатата казарма" днес е учредена етнографска експозиция.
