(1) $\abs{\vector{OA}}^2=\sqrt{1+4\ }^2=5$.
$\vector{OD}= \ds{9\over10}\vector{OA}$
$\vector{CD} = \vector{OD}-\vector{OC}$
$= \ds{9\over10}\vector{OA}-\ds{1\over2}\left(\vector{OA} + \vector{OB}\right)$
$=\ds{4\over10}\vector{OA}-\ds{1\over2}\vector{OB}$
$= \ds{2\over5}\vector{OA}-\ds{1\over2}\vector{OB}$.
$\vector{OA}\perp\vector{CD}$
⇔
$0 = \vector{OA}\cdot\vector{CD}$
$= \vector{OA}\cdot\left(\ds{2\over5}\vector{OA}-\ds{1\over2}\vector{OB}\right)$
$= \ds{2\over5}\abs{\vector{OA}}^2 - \ds{1\over2}\vector{OA}\cdot\vector{OB}$
$= \ds{2\over5}\times5 - \ds{1\over2}\vector{OA}\cdot\vector{OB}$
$= 2 - \ds{1\over2}\vector{OA}\cdot\vector{OB}$.
従って $\vector{OA}\cdot\vector{OB} =4$.
$\vector{OE}=\ds{3\over5}\vector{OB}$.
$\vector{CE} = \vector{OE} - \vector{OC}$
$=\ds{3\over5}\vector{OB}-\ds{1\over2}\left(\vector{OA} + \vector{OB}\right)$
$=-\ds{1\over2}\vector{OA} + \ds{1\over10}\vector{OB}$.
$\vector{OB}\perp\vector{CE}$
⇔
$0 = \vector{OB}\cdot\vector{CE}$
$=-\ds{1\over2}\vector{OA}\cdot\vector{OB}+\ds{1\over10}\abs{\vector{OB}}^2$
$= -2 + \ds{1\over10}\abs{\vector{OB}}^2$.
より $\abs{\vector{OB}}^2 = 20$.
これを用いて
$20 = \ds{1\over10}\abs{\vector{OB}}^2 = 4 + p^2 + q^2$ より $p^2 + q^2 = 16$.
$4 = \vector{OA}\cdot\vector{OB} = -2 + 2p$ より $p = 3$.
$9 + q^2 = 16$ で $q > 0$ より $q = \sqrt{7\ }$.
(2) さて
$\vector{OH} = s\vector{OA} +t\vector{OB}$
$\vector{OG} + \vector{GH} = s\vector{OA} +t\vector{OB}$
$\vector{GH} = -\vector{OG} + s\vector{OA} +t\vector{OB}$
$\vector{GH}\perp\vector{OA}$
⇔
$0 = -\vector{OG}\cdot\vector{OA} + s\abs{\vector{OA}}^2
+t\vector{OA}\cdot\vector{OB}$
$= -(4, 4, -\sqrt{7\ })\cdot(-1, 2, 0) + 5s +4t$
$=-(-4+8) +5s + 4t$
よって
$5s + 4t =4\ \cdots①$.
同様に
$\vector{GH}\perp\vector{OB}$
⇔
$0 = -\vector{OG}\cdot\vector{OB} + s\vector{OA}\cdot\vector{OB}
+t\abs{\vector{OB}}^2$
$= -(4, 4, -\sqrt{7\ })\cdot(2, 3, \sqrt{7\ }) + 4s +20t$
$=-(8+12-7) +4s + 20t$
$=-13+4s ++20t$.
よって
$4s + 20t = 13\ \cdots②$
$①\times5-②$: $21s = 7$
故に $s=\ds{1\over3}$
これを ① に代入して $t =\ds{7\over12}$
以上より
$\vector{OH} = \ds{1\over3}\vector{OA}+\ds{7\over12}\vector{OB}$
$= \ds{1\over12}\left(4\vector{OA}+7\vector{OB}\right) =
\ds{11\over12}\left(\ds{4\over11}\vector{OA}+\ds{7\over11}\vector{OB}\right)$.
これに基づいて図を描くと下図を得る。
従って $H$ は $\triangle OBC$ の内部の点である。
最後の問題は図を描いた方が間違いが少ないとは思うが, 図を描く時に間違えないように気を付けないといけない。
それ以外は計算が大変なだけで難しくはないだろう。