Integration by parts is
#intu'vdx=uv-intuv'dx#
We must calculate #intx^2/e^(2x)dx=intx^2e^(-2x)dx#
Let #u'=e^(-2x)#, #=>#, #u=e^(-2x)/(-2)=-1/2e^(-2x)#
and #v=x^2#, #=>#, #v'=2x#
Therefore,
#intx^2/e^(2x)dx=-1/2x^2e^(-2x)-int-1/2*2x*e^(-2x)dx#
#=-1/2x^2e^(-2x)+intxe^(-2x)dx#
In order to calculate #intxe^(-2x)dx#, we do the integration by parts a second time
Let #u'=e^(-2x)#, #=>#, #u=e^(-2x)/(-2)=-1/2e^(-2x)#
and #v=x#, #=>#, #v'=1#
So,
#intxe^(-2x)dx=-1/2xe^(-2x)-int-1/2e^(-2x)dx#
#=-1/2xe^(-2x)+1/2inte^(-2x)dx#
#=-1/2xe^(-2x)+1/2*e^(-2x)/(-2)#
#=-1/2xe^(-2x)-1/4e^(-2x)#
Putting it all together
#intx^2/e^(2x)dx=-1/2x^2e^(-2x)-1/2xe^(-2x)-1/4e^(-2x)+C#
#=-((2x^2+2x+1))/4e^(-2x)+C#