Oснована је давне 1923/24. године као четвороразредна основна школа. Од 1930. године носи назив ОШ „Штофара Илић“, а 1932. добија име српског научника, географа, Јована Цвијића које и данас са поносом носи. Исте године почела је да се гради зграда у којој школа и данас ради. Садашњи изглед школа добија 1960. године, доградњом сале за физичко васпитање.
Од 2018. године реализује се пројекат-једносменски рад и обухвата следеће програме: Уметничка радионица, Ритмичке игре, Спорт, Млади математичари, Занимљива наука, Маштаоница, Дигитална писменост, Млади биолози, Примењене уметничке радионице, Учионица за све, Правимо вртове, Подршка у учењу за млађе разреде, Вредне руке и Дечије игре.
ОШ „Јован Цвијић“ на Карабурми похађали су многи, сада познати и успешни Београђани, a jедан од њих је и кошаркашки репрезентативац Србије Василије Мицић.