“青河”一词由“青格里”缩写而来，因青河县城驻地位于大小青河之间而得名。  青河县水草丰茂，自古以来就是我国西北游牧民族活动区域之一。早在秦汉时期，青河是匈奴游牧地。公元6世纪至公元701年属突厥。

    公元702年(武则天长安二年)唐于吉木萨尔置北庭都护府，分管天山以北。 青河隶属北庭都护府。

    宋代，是乃蛮的牧地。元代，青河是窝阔台汗国的牧地。明末清初，青河是准噶尔的一部分。

    清朝平定准噶尔封建贵族叛乱之后，统一天山南北，乾隆二十八年（1763年）筑科布多城， 清政府设科布多参赞大臣，管辖科布多及阿尔泰乌梁海诸地，青河属阿尔泰乌梁海牧地一部分。 科布多参赞大臣又受乌里雅苏台定边左副将军节制。  

     清光绪三十一年(1904年)科布多、阿尔泰分治，清政府在阿尔泰设办事大臣，青河属阿尔泰办事大臣管辖。民国元年(1912年)阿尔泰办事大臣改为阿尔泰办事长官，青河隶属未变。

    民国元年至民国八年(1912年—1919年)阿尔泰为特别区直隶于北洋政府。

    1919年阿尔泰特别区改为阿山道，设道尹，划归新疆管辖，青河随隶属而改变。

    1919年设布尔根河设治局，1920年布尔根河设治局改为县佐。1922年设查干郭勒县佐。

    1924年查干郭勒县佐升为三等县。1937年(民国三十年)青格里河设治局成立，布尔根归并青格里河设治局，1941年青格里河设治局升为三等县。

    1944年三区革命时期，乌斯满作乱，青河县居民逃亡殆尽，县的建制就名存实亡了。

    1949年全国解放，1950年青河县划为富蕴县管辖的一个区。

    1951年6月青河县人民政府成立，隶属阿勒泰专员公署。