(1) $\abs{\vector{OA}} = 3\abs{(1,\ 1,\ -2)} = 3\sqrt{1^2+1^2+2^2} = 3\sqrt6$.
$\abs{\vector{OB}} = 2\sqrt{4+2\sqrt3+4-2\sqrt3 + 4} = 4\sqrt3$.
$\vector{OA}\cdot\vector{OB} = 6(1,\ 1,\ -2)\cdot(1+\sqrt3,\ 1-\sqrt3,\ -2)
=6(1+\sqrt3+1-\sqrt3+4) = 36$.
(2) $\vector{OA}\cdot\vector{OC} =s\abs{\vector{OA}}^2 +
t\vector{OA}\cdot\vector{OB}=54s + 36t = 0$.
即ち $3s+2t=0$.
又 $\vector{OB}\cdot\vector{OC} = s\vector{OA}\cdot\vector{OB} +
t\abs{\vector{OB}}^2 = 36s + 48t = 24$.
即ち $3s+4t=2$.
これらを連立させて解くと, $t=1$, $s = -\ds{2\over3}t = \ds{-2\over3}$.
よって
$\abs{\vector{OC}}^2 = \abs{-\ds{2\over3}\vector{OA} + \vector{OB}}^2$
$= \ds{4\over9}\abs{\vector{OA}}^2-\ds{4\over3}\vector{OA}\cdot\vector{OB} +
\abs{\vector{OB}}^2$
$= \ds{4\over9}\times9\times6 - -\ds{4\over3}\times36 + 16\times3$
$= 24 - 48 + 48 = 24$.
だから $\abs{\vector{OC}} = 2\sqrt6$.
(3)
$\vector{CB}=\vector{OB} - \vector{OC}$
$= \vector{OB} - \left(-\ds{2\over3}\vector{OA} + \vector{OB}\right)$
$= \ds{2\over3}\vector{OA}$.
従って $\vector{CB} /\!/\vector{OA}$ なので 3.
面積は
$\ds{1\over2}\left(\abs{\vector{OA}}+ \abs{\vector{OB}}\right)\abs{\vector{OC}}$
$= \ds{1\over2}\left(3\sqrt6 + 2\sqrt6\right)\times2\sqrt6 = 5\sqrt6
\times\sqrt6 = 30$.
(4) $\vector{OD}= (a,\ b,\ 1)$ とする。
$\vector{OA}\perp\vector{OD}$ だから
$\ds{1\over3}\vector{OA}\cdot\vector{OC} = (1,\ 1,\ -2)\cdot(a,\ b,\ 1) = a + b
- 2 = 0$.
即ち
$a + b = 2$
$\vector{OC}\cdot\vector{OD} = \left(-\ds{2\over3}\times3(1,\ 1,\
-2)+2(1+\sqrt3, 1-\sqrt3,\ -2)\right)\cdot(a,\ b,\ 1)$
$= 2\left((-1,\ -1,\ 2)+(1+\sqrt3, 1-\sqrt3,\ -2)\right)\cdot(a,\ b,\ 1)$
$= 2\left(\sqrt3,\ -\sqrt3,\ 0\right)\cdot(a,\ b,\ 1)$
$=2\left(\sqrt3 a- \sqrt3 b\right)$
$= 2\sqrt3(a-b) = 2\sqrt6$.
故に $a-b =\sqrt2$
辺々足して $2a = 2 + \sqrt2$ だから
$a=1 + \ds{\sqrt2\over2}$
$b = 1 - \ds{\sqrt2\over2}$
$\abs{\vector{OD}} = \sqrt{\ds{3\over2}\times2+1} =\sqrt4 = 2$ だから
$\vector{OC}\cdot\vector{OD}= \abs{\vector{OC}}\abs{\vector{OD}}\cos\angle COD$
より
$2\sqrt6 = 2\sqrt6\times2\cos\angle COD$
$\cos\angle COD = \ds{1\over2}$
故に $\angle COD = 60^\circ$.
条件から図を描くと右の様になる
従って $D$ から平面 $\alpha$ に下した垂線の長さは $\sqrt3$ である。
四角形 $OABC$ が $OA /\!/CB$ の台形で $OA\perp OC$ なので,
$\triangle ABC = \ds{1\over2}CB\cdot OC$
$= \ds{1\over2}\times2\sqrt6\times2\sqrt6 = 12$.
従って
$V = \ds{1\over3}\times12\times\sqrt3 = 4\sqrt3$.
最後の高さの問題と体積の問題は, 図が上手く描けないと (図形が上手く浮かばないと) 難しい。
(4) の $D$ の座標はもっと簡単な方法があるような気がする。