Территория яра была заселена задолго до основания Харькова. Согласно директору Слобожанской археологической службы И. Голубевой, на территории яра Слобожанская археологическая служба выявила древние скифские поселения.
В XVIII веке в ближней к реке Лопань части яра существовала маленькая слободка, в 1779 году принадлежавшая «обер-камермейстру» Скрыпову и насчитывавшая 32 мужские души (учитывались только мужчины; женщин не считали, так как они не платили налогов). В «Ведомости, исъ какихъ именно городовъ и уездовъ Харьковское наместничество составлено и сколько было въ нихъ душъ на 1779 годъ», она называется «владел(ь)ческой слободой на Сарженом яру». Располагалась у пересечения Золочевской дороги (ныне Клочковская улица) с речкой Саржинкой; на карте 1788 года называется хутор Саржин.
В середине 19 века по дну яра проходила просёлочная дорога в Черкасскую Лозовую. По берегам реки находились следующие хутора: Якубов (правый берег), Павлов(правый, по нему впоследствии было названо Павлово Поле), Степанов (левый), Гончаровский (правый), Корован (правый), Саржин (левый, переходящий в район Павловку), Алексеевский (правый).
В районе яра на самом деле были не только скифские поселения, а и черняховские и позднезарубенецкие. А еще до революции на территории ботанического сада в яру была дача табачного фабриканта Пейсаха Бураса и его частный парк "Парадиз". строения его дачи до сих пор сохранились. Сейчас там находится администрация сада. А еще раньше до Бураса, там находилась почтовая контора. Здание тоже еще можно увидеть. . На закрытой территории сада есть три дерева, которым уже больше 100 лет из сада Бураса.
В 2014—2019 годах Саржин яр подвергся глобальной реконструкции.
