Композиция рассказа подчиняется одной общей цели — показать постепенное духовное обнищание героя и убогую жизнь города. Но как рассказать о жизни героя и целого города на протяжении нескольких страниц? Чехов добивается этого следующими художественными средствами.
Прежде всего постепенно и незаметно упрощается композиционно-сюжетная линия рассказа. Такие компоненты произведения, как пейзаж и диалоги, по мере развития сюжета исчезают. Автор искусно ставит это в связь с эволюцией образа героя. Пока Старцев был молод, он любил музыку, пел, влюблялся, мечтал, вёл споры и разговаривал с окружающими. Для характеристики его настроений нужен был и пейзаж лунной ночи, тонко передающий очарование любви, переживаемой героем, и диалоги, обрисовывающие гамму его переживаний. По мере того как круг интересов Старцева суживается, яркие краски из его жизни исчезают. Старцев превращается в угрюмого, одинокого обывателя. Пейзаж и диалог делаются теперь ненужными в произведении.
Так как, по словам Чехова, «беллетристика должна укладываться сразу, в секунду», автор, изображая многолетний процесс морального падения героя, расставляет на жизненном пути героя только основные вехи. Мы узнаём, что первое путешествие в город Старцев совершает пешком, потом он ездит на паре лошадей и, наконец, на тройке с бубенчиками, с раскормленным кучером на козлах, который кричит: «Пррава держи!» Промежуток между этими вехами автор не заполняет ничем, да это и не нужно: рост материального благополучия и огрубения героя обрисован уже предельно выразительно несколькими характерными штрихами.
Следует обратить внимание ещё на одну интересную композиционную особенность рассказа. Губернского города, в котором развиваются события, автор почти не описывает. Между тем читатель хорошо чувствует душную атмосферу этого города. Достигается это следующим художественным приёмом: автор знакомит нас с «самой образованной и талантливой семьёй» в городе — семьёй Туркиных. Чехов трижды даёт описание жизни этой семьи, каждый раз упрощая и сокращая описания. Внешне красивая, жизнь Туркиных оказывается до ужаса монотонной: Туркина всё пишет бездарные романы, незадачливая дочь её играет на рояле, а Туркин продолжает дёшево оригинальничать и плоско острить. Но «если самые талантливые люди во всём городе так бездарны, то каков же должен быть город!» — восклицает читатель вместе со Старцевым.