追根溯源，青山區(qū)在新中國成立之前的歷史上，雖然沒有整體單獨設(shè)置過縣（旗、區(qū)）及以上行政建置，但這片土地有山有水，氣候溫和，土地平坦開闊，絕大部分宜農(nóng)宜牧宜林，非常適合人類生息繁衍。從考察有關(guān)史跡、史料得知，在我國歷史上，歷朝歷代，這里一直是中華民族生存發(fā)展之地，是漢族和北方游牧民族或交替占據(jù)，或友好來往，相互交融，并肩攜手發(fā)展之地。

到了明朝中期至清朝初期。這里是蒙古族土默特部落建立的大明金國居地。清朝時期，由蒙古族烏拉特部落占據(jù)。清末民初，從山西、陜西、河北等地陸續(xù)遷徙來大量從事農(nóng)業(yè)和手工業(yè)生產(chǎn)的移民，他們墾田建屋，逐漸形成公忽洞、狗攔圪缽、鐮片窯子等村落。

中華人民共和國成立后，內(nèi)蒙古自治區(qū)于1954年廢除旗縣并存、蒙漢分治制度。今青山區(qū)境蒙古族也劃屬包頭市管轄。

1953年，內(nèi)蒙古一、二機廠在區(qū)境選址、定點。1954年，全區(qū)陸續(xù)開始大規(guī)模建設(shè)。1955年，包頭市委、市政府根據(jù)工業(yè)建設(shè)需要組建新市區(qū)（包括今青山區(qū)、昆都侖區(qū)）工作組，成立新市區(qū)辦事處。1956年8月，包頭市人民委員會決定撤銷新市區(qū)辦事處，分別成立以內(nèi)蒙古一機廠、二機廠廠區(qū)和住宅區(qū)為主的青山區(qū)和以包鋼廠區(qū)和住宅區(qū)為主的昆都侖區(qū)。在其未完成選舉以前，先成立包頭市人民委員會青山區(qū)辦事處、包頭市人民委員會昆都侖區(qū)辦事處。同年8月18日，新市區(qū)辦事處正式結(jié)束，青山區(qū)辦事處正式成立，辦公處設(shè)在公忽洞村。11月，召開青山區(qū)人民代表大會，選舉產(chǎn)生青山區(qū)領(lǐng)導(dǎo)班子，正式成立縣級青山區(qū)人民委員會（后相繼改稱青山區(qū)革命委員會、人民政府），隸屬于包頭市。辦公處設(shè)于呼得木林大街6號街坊。2005年1月，青山區(qū)黨政大樓遷至建設(shè)路189號。截至目前，其隸屬關(guān)系未發(fā)生變化。