Urząd pocztowy w Ełku wymieniony jest po raz pierwszy w roku 1799. Kierował nim wówczas niejaki Lavemann, mając do pomocy sekretarza Rochledera.
W każdą środę wieś wysyłała posłańca do Ełku po pocztę. Posłaniec otrzymywał zamkniętą torbę i zawoził ją do wsi, gdzie listy były rozdzielane.
Dyliżanse pocztowe przewoziły również pasażerów. Około 1820 roku dyliżanse pocztowe z Ełku przez Olecko do Gąbina (obecnie Gusiew w obwodzie kaliningradzkim) kursowały raz w tygodniu, wkrótce dwukrotnie, a od 1825 już trzy razy w tygodniu.
W 1815 roku do urzędu pocztowego Ełk należały stacje: Orzysz, Biała Piska, Pisz, Olecko, a także składnica w Cichach (Cichy). Od 1815 do 1824 naczelnikiem ełckiego urzędu pocztowego był poczmistrz Parmann. Ponieważ ruch pocztowy się rozszerzał, przyznano mu sekretarza i listonosza.
Od 1868 roku, kiedy Ełk uzyskał połączenie kolejowe, poczta zaczęła być przewożona koleją. Powoli era koni i dyliżansów odchodziła do lamusa.
Do drugiej połowy XIX wieku ełcki urząd pocztowy bardzo często zmieniał swoją siedzibę w obrębie ulicy Głównej (obecnie Wojska Polskiego). Sytuacja ustabilizowała się, gdy w 1866 roku urząd został przeniesiony na ulicę Bahnhostrasse (Dworcową, obecnie Armii Krajowej). Stojący do dziś budynek wzniesiony został w 1881 r. Rozmieszczony jest na planie litery „L” - podczas I wojny światowej gmach został poszerzony w kierunku ulicy Chopina (niegdyś Falkstrasse). Gmach ma korpus dwukondygnacyjny i dwunastoosiową fasadę. Kondygnacje rozdzielone zostały gzymsem kordonowym. Okna pierwszej kondygnacji z pełnym gzymsem podokiennym, zamknięte są łukiem pełnym, natomiast okna drugiej kondygnacji zamknięte łukiem odcinkowym. Nad osiami szóstą i siódmą znajduje się attyka z zegarem i datą 1881.
Przed ostatnią wojną istniały oddziały pocztowe Ełk A przy Sentker Chaussee (ulica Suwalska) i Ełk B przy Kaiser Wilhem Strasse (wcześniej Główna, obecnie Wojska Polskiego).