(1) $△\!\!OAB$ は正三角形なので $B(1, \sqrt3)$.
又, 正六角形は $y$ 軸対称なので $D(-2, 0)$.
(2) $\vector{OM} =\ds{1\over2}\left(\vector{OB} + \vector{OD}\right)$
$= \ds{1\over2}\left((1, \sqrt3) + (-2, 0)\right)$
$= \left(-\ds{1\over2}, \ds{\sqrt3\over2}\right)$
なので,
$\vector{AM} = \vector{OM}-\vector{OA}$
$= \left(-\ds{1\over2}, \ds{\sqrt3\over2}\right) - (2, 0)$
$= \left(-\ds{5\over2}, \ds{\sqrt3\over2}\right)$.
又, $\vector{DC} = \vector{OC} - \vector{OD}$
$= \left(-1, \sqrt3\right) - (-2, 0)$
$= \left(1, \sqrt3\right)$.
従って
$\vector{ON}= \vector{OA} + r\vector{AM}$
$= \left(2-\ds{5\over2}r, \ds{\sqrt3\over2}r\right)$
及び
$\vector{ON}= \vector{OD} + s\vector{DC}$
$= \left(-2 + s, \sqrt3s\right)$
となる $r$, $s$ が存在する。
つまり
$2-\ds{5\over2}r = -2 + s$,
$\ds{\sqrt3\over2}r = \sqrt3s$.
下の方の式から $r = 2s$ なので
$2 - 5s = -2 + s$
$4 = 6s$
故に $s = \ds{2\over3}$, $r = \ds{4\over3}$.
従って $\vector{ON} = \left(-\ds{4\over3}, \ds{2\sqrt3\over3}\right)$.
(3) $P(1, a)$ だから
$\vector{EP} = \vector{OP} - \vector{OE}$.
$= (1, a) - \left(-1, -\sqrt3\right)$
$= \left(2, a + \sqrt3\right)$.
$\vector{EP}\perp\left(a+\sqrt3, -2\right)$ なので
$\vector{OH} = \vector{OC} + t\left(a+\sqrt3, -2\right)$
$= \left(-1, \sqrt3\right) + t\left(a+\sqrt3, -2\right)$
$= \left(-1 + t\left(a+\sqrt3\right), \sqrt3 - 2t\right)$
となる $t$ が存在する。 ここで $\vector{OH}$ の $y$ 成分 (つまり $H$ の $y$ 座標) が $a$ であることから
$\sqrt3 - 2t = a$ 即ち $t=\ds{\sqrt3 - a\over2}$.
従って $\vector{OH}$ の $x$ 成分 (即ち $H$ の $x$ 座標は
$-1 + \ds{\sqrt3 - a\over2}\times\left(a + \sqrt3\right)$
$= -1 + \ds{3 - a^2\over2}$
$= \ds{-a^2 + 3 - 2\over 2}$
$= \ds{-a^2 + 1\over2}$.
更に $\vector{OP}$ と $\vector{OH}$ の成す角を $\theta$ とし, $\cos\theta=\ds{12\over13}$ とすると
$\vector{OP}\cdot\vector{OH} = \abs{\vector{OP}}\abs{\vector{OH}}\cos\theta$
$\ds{-a^2+1\over2} + a^2 = \sqrt{1 + a^2}\sqrt{\ds{\left(a^2 -
1\right)^2\over4}+ a^2\ }\times\ds{12\over13}$
$\ds{a^2+1\over2}= \sqrt{a^2 + 1}\times\ds{\sqrt{a^4 - 2a^2 + 1 + 4a^2}\
\over2}\times\ds{12\over13}$
$a^2+1 = \sqrt{a^2 + 1}\sqrt{a^4 + 2a^2 + 1}\times\ds{12\over13}$
$a^2+1 = \sqrt{a^2 + 1}\left(a^2+1\right)\times\ds{12\over13}$ $(\because a^2 +
1 \geqq 1)$
$1 = \sqrt{a^2 + 1}\times\ds{12\over13}$
$\sqrt{a^2 + 1} = \ds{13\over12}$
$a^2 + 1 = \ds{169\over144}$
$a^2 = \ds{25\over144}$
$a = \pm\ds{5\over12}$
平面のベクトルなので難しくはないと思うのだが, 設定が一寸面倒かも知れない。