Eu não uso nem vou usar, mas vale a pena em muitos casos. Neste momento, se um site usa AMP e a concorrência não usa, há uma probabilidade grande desse site "roubar" bastante tráfego orgánico à concorrência. Em algumas áreas é quase obrigatório usar o AMP... por exemplo, em sites de notícias quem não usa AMP está lixado. Em Portugal, creio que o AMP é uma das razões para o SAPO ter tido uma subida no tráfego nos últimos meses.
Tenho seguido as sugestões do Google antes da maioria das pessoas. Quando começaram a falar em sites responsivos, investi tempo e dinheiro a mudar todos os sites... Em alguns sites, depois de ~1 mês, o tráfego mobile começou a subir bastante e hoje é 80% das visitas. Comecei a preparar a mudança para HTTPS antes de dizerem que seria um dos factores para ranquearem os sites... fiz isto porque estava (e estou) preocupado com a privacidade e segurança dos meus utilizadores. Mas isto do AMP infelizmente vou ter que passar... Não só temos que criar uma página com markup especial só para o Google, como também somos limitados no que podemos usar. Depois não me agrada a ideia de ter que usar um markup especial, em vez do HTML normal, só porque sim. Para não falar na questão do URL, nos scripts necessários para as páginas carregarem e de ser uma coisa que está ligada ao Google.
Quando fiz a mudança para HTTPS aproveitei para dar uma limpeza séria nos sites. Removi fontes, widgets das redes sociais, sistemas de comentários externos, plugins pesados, css desnecessário, cortei no número de requests, etc e passei a usar uma CDN com cache agressiva para as páginas (e para o conteúdo das páginas) e formatos novos (webp, por exemplo) para diminuir o tamanho das páginas em alguns browsers. A publicidade, o único conteúdo externo que não posso remover, ou está dentro de iframes (que não bloqueiam o carregamento da página) ou são scripts async. Basicamente tentei fazer o que o AMP faz, mas sem usar o AMP.
Se isto não for suficiente para o Google, pá, é uma pena. Apoio muitas das decisões que tomam (sites mais leves, ligações tls mais seguras, etc) mesmo quando me dão algumas dores de cabeça, mas não vou usar o AMP nem alternativas que metam o controle da internet nas mãos de uma ou duas empresas.