Question

Se f(x)=x^2+2x, determine fof(x)

Answer 1

Função composta você pode resolver assim:
*considere a função g(x)= a+bx e a f(x)=cx
se ele pede, por exemplo, fog(x) 
basta pegar a f(x) e considerar como x o g(x) todo. Assim
fog=f(g(x))=c(a+bx)=ca+bcx
entendeu?!
agora basta aplicar isso para a sua questão.

f(x)=x²+2x
fof(x)=(x²+2x)²+2(x²+2x)
fof(x)=(x⁴+2.2x³+4x²)+2x²+4x
fof(x)=x⁴+4x³+6x²+4x
Espero ter sido claro. :)