Шапка охотника на оленей стала особенно модной, когда спортивная одежда стала более яркой чертой мужского платья. Охотник на оленей обычно связывается с вымышленным детективом Шерлоком Холмсом.
Больше, чем кепка спортсмена, охотник на оленей обычно связывается с британским писателем Артуром Конан Дойлем (1859–1930) вымышленный детектив Шерлок Холмс. Это стало таким признанным символом Холмса благодаря иллюстратору Сидни Пэджету (1860–1908). Хотя Дойл никогда не упоминал свой характер Шерлок Холмс как ношение шапки охотника на оленей, Пэджет потянул кепку на голове Холмса в нескольких историях, возможно потому что он сам носил ее. Актеры, играющие Холмса на стадии и экране, последовательно именовали рисунки Пэджета как модель Шапки охотника на оленей. Другим известным вымышленным владельцем охотника на оленей был Холден Колфилд, главный герой автора Дж. Д. Сэлинджера (1919–) известный роман Над пропастью во ржи (1951).