A pólvora era desconhecida na Europa até o século XIII e, por este motivo, é provável que os ocidentais nunca antes tivessem usado um canhão. No início, as peças eram fabricadas de ferro forjado, pequenos e rústicos; algum tempo depois, passaram a ser feitos com barras de ferro fundido e reforçadas com anéis do metal.
Com a evolução da arte de fundir, as bocas de fogo passaram a ser feitas de bronze. No século XV, os projéteis feitos de pedra foram substituídos por outros de ferro ou de chumbo.
Afirma-se que o primeiro canhão europeu foi usado no século XIII, na Península Ibérica, durante os conflitos entre islâmicos e espanhóis. Já o canhão inglês foi usado pela primeira vez na Guerra dos Cem Anos, na Batalha de Crécy, no ano de 1346.
O canhão impulsionado pela pólvora foi desenvolvido na China e era descendente da lança de fogo, uma das primeiras armas de fogo da história. O canhão mais antigo conhecido é datado de 1282 e encontrado na Manchuria mongol.
A China montou mais de 3.000 canhões de ferro e bronze na Grande Muralha, mas, depois da ascensão da dinastia Ming, estas ferramentas tornaram-se limitadas para as operações de pacificação da fronteira sul.
Os canhões ainda foram usados em 1414, nos conflitos contra as Oirates, e em 1593, no cerco a Pyongyang. Nesta última batalha, foram enviadas 40.000 tropas Ming com uma variedade de canhões para bombardear uma força japonesa. Durante a Guerra Imjin, na Coreia, as forças chinesas também usavam artilharia de pólvora nos combates terrestres e marítimos.
De acordo com o historiador Ahmad Y. al-Hassan, o primeiro canhão da História apareceu na Batalha de Ain Jalut, no ano de 1260, quando os mamelucos o utilizaram contra os mongóis. No entanto, outros historiadores afirmam que foram os mongóis invasores que introduziram a pólvora do mundo islâmico.
O enorme canhão de Dardanelos foi construído em 1452, especialmente para o cerco de Constantinopla no Império Otomano, sendo considerado por alguns historiadores como a primeira arma de destruição em massa. Este canhão foi feito em bronze e possuía duas partes principais: a boca do canhão e a culatra que, juntas, pesavam mais de 18 toneladas.
Na Europa Medieval, os andaluzes utilizaram os canhões dos mouros nos cercos de Sevilha (1248) e em Niebla (1262). O primeiro canhão de metal europeu era carregado com munições semelhantes a flechas, envoltas em couro, o que permitia maior poder de perfuração.
Já o canhão russo surgiu no ano de 1380, e geralmente era usado na defesa das posições de cercos inimigos.