Bem pra comecar vamos falar sobre CMS.

CMS (Content Mangement System) é isso mesmo que o nome diz, Sistema de Gerenciamento de Conteúdo.
Ele basicamente é um sistema já pronto, com algumas funcionalidades prontas. Entre os mais famosos nós temos o Joomla , o Wordpress e o Drupal.

Prós
Se você precisa de um sistema básico e que não vai requerer muito desenvolvimento, um CMS vai se adequar perfeitamente. Ele vai te dar um sistema de gerenciamento de conteúdo já pronto e você pode fazer pequenas mudanças para se adequar a sua necessidade. Existem também grande quantidade de bibliotecas prontas para você usar.

Contras
Não se encaixa bem para fazer sistemas complexos, até da pra fazer mas existem ferramentas melhores para facilitar o desenvolvimento.

Framework é o conjunto de códigos, junto com bibliotecas de desenvolvimento, organizadas de um jeito que facilita o desenvolvimento de um projeto. Entre os Frameworks mais conhecidos nós encontramos o Ruby on Rails(Ruby), Django(Python), Spring(Java), Struts(Java) CakePHP(Php),  ZendFramework(Php) e muitos outros.

Prós
São ideais para voce reduzir drasticamente o tabalho de um desenvolvedor, possuem várias “soluções de desenvolvimento” prontas fazendo com que o desenvolvedor se concentre mais com a abstração da solução do problema.

Contras
Tem uma curva de aprendizagem que pode ser bem alta.