W 1884 roku w niedalekiej odległości od dworca rozpoczęto budowę koszarów piechoty i kawalerii. Zaczęła się kształtować nowa ulica będąca drugim po ulicy Dworcowej (obecnie Armii Krajowej) połączeniem ulicy Głównej (Wojska Polskiego) z dworcem kolejowym. Nazwano ją oficjalnie ulicą Młynową (w pobliżu stał wiatrak), ale mieszkańcy nadali jej mało wytworną nazwę Świńska, ponieważ handlowano tu tymi zwierzętami. Trzy ulice: Nowa (obecnie Mickiewicza), Młynowa (Tadeusza Kościuszki) oraz Dworcowa (obecnie Armii Krajowej) wyznaczyły nowe śródmieście. Połączono je ulicami poprzecznymi, tworząc w ten sposób nowoczesny układ przestrzenny.
Ulica Kościuszki może pochwalić się paroma ciekawymi kamienicami z początków XX wieku. Przykładem może być kamienica z numerem 9. Była to kamienica mieszkalna,
wzniesiona w pierwszej ćwierci XX w. Kamienica ma korpus jedenastoosiowy, jedno skrzydło czteroosiowe, drugie dwuosiowe. Bogatą ornamentykę budynku uzyskano poprzez zastosowanie cegły żółtej i czerwonej oraz tynkowanych płaszczyzn. Wszystkie otwory w budynku zostały zamknięte łukiem i ujęte opaskami z czerwonej cegły. Osie od piątej do siódmej korpusu tworzą ryzalit środkowy. Ryzality te zamykają attyki schodkowe. W ryzalicie środkowym, w pierwszej kondygnacji, centralnie umieszczono drzwi. W kondygnacjach drugiej i trzeciej umieszczono balkony. Nad osią z drzwiami widzimy okno przykryte hełmem stożkowym.
Na uwagę zasługują również wzniesione w początkach XX wieku kamienice przy Kościuszki 7 oraz 11.