今遵義市，春秋戰(zhàn)國(guó)時(shí)期，曾是巴、蜀、夜郎等邦國(guó)的領(lǐng)地。秦漢時(shí)期置犍為郡。唐貞觀十三年（639年）為播州。貞觀十六年（642年），羅蒙縣更名為遵義縣（治所在今遵義市綏陽(yáng)縣境）。晚唐時(shí)，楊氏家族世襲播州刺史職位，形成播州楊氏土司政權(quán)，一直沿襲至明朝末年。宋朝時(shí)，置播州、遵義軍。元朝時(shí)置播州宣慰司。

明萬(wàn)歷二十八年（1600年），明朝政府平定楊氏土司楊應(yīng)龍的叛亂，對(duì)播州宣慰司進(jìn)行改土歸流。置遵義軍民府（隸四川）、平越軍民府（隸貴州）。清初，遵義府改屬貴州省。辛亥革命后，廢棄府的建置。民國(guó)二十四年1935年貴州省設(shè)11個(gè)行政督察區(qū)，黔北為第五行政督察區(qū)，專員公署先設(shè)桐梓，后遷遵義縣城（即今紅花崗區(qū)）。1949年11月，中華人民共和國(guó)設(shè)置遵義專區(qū)后，又改遵義地區(qū)，今為遵義市。

遵義因中國(guó)共產(chǎn)黨于1935年1月在此召開遵義會(huì)議而聞名，此會(huì)議在中國(guó)共產(chǎn)黨黨史中有重要的意義。