Мисля, че в случая подходът е такъв - за се намери косинуса на ъгъла между векторите $\vec{m}=(\vec{a}+\vec{b})$ и $\vec{n}= (\vec{3a}- \vec{b})$, ако $\vec{a} = (1, -1 , 0)$ и $\vec{b}=(-2, 0 , 3)$ трябва:
$\diamond$ да се намерят векторите
$$\vec{m}=\Big(1+(-2),-1+0,0+3\Big)=(-1,-1,3) \\ \vec{n}=\Big(3.1-(-2),3.(-1)-0,3.0-3\Big)=(5,-3,-3);$$
$\diamond$ да се намери скаларното произведение на двата вектора$$\vec{m}.\vec{n}= m_x · n_x + m_y · n_y + m_z · n_z = (-1) · 5 + (-1) · (-3) + 3 · (-3) = -5 + 3 - 9 = -11;$$
$\diamond$ да се намерят дължините на векторите $$|\vec{m}| = \sqrt{m_x^2 + m_y^2 + m_z^2}= \sqrt{(-1)^2 + (-1)^2 + 3^2} = \sqrt{1 + 1 + 9} =\sqrt{11}, \\ |\vec{n}| = \sqrt{n_x^2 + n_y^2 + n_z^2}= \sqrt{5^2 + (-3)^2 + (-3)^2} = \sqrt{25 + 9 + 9 } =\sqrt{43}.$$
Косинусът на ъгъла между векторите се дава с формулата:$$\cos α = \frac{\vec{m}.\vec{n}}{|\vec{m}|.|\vec{n}|}=\frac {-11}{\sqrt{11}.\sqrt{43}}=-\frac{\sqrt{473}}{43}\approx -0,50578053885887315051809360572175,$$което според калкулатора на Windows съответства на ъгъл, малко по-голям от $120^\circ$, а именно $120,38317998869449610486508128067$