Не, искат ти да вкараш матрицата като аргумент на функция, т.е. да намериш матрицата, еквивалентна на резултата от въпросните преобразувания с първата матрица.
Ако имаш матрица [tex]A[/tex] и ти търсят матрица [tex]B = f(A)[/tex], където [tex]f(x) = x^2 - 2x[/tex], то трябва да съставиш матрицата [tex]B = A^2 - 2A[/tex]. Алгебрични действия с матрица, давай!