こんにちは。似たようなことは平面ベクトルでやっています。それの空間版と思っていただくといいと思います。式変形の方法に慣れてください。
【問題】四面体ABCDと点Pが次の関係を満たしているとき, 点Pは四面体の内部にあるか, 外部にあるか示せ。
【解答・解説】
, , , とおくと,
与式は次のようになる
これをについて解いていくと,
さらにこれを変形していくと,
となる。
上記式中のからをに内分する点をEとして, をとすると,
なので,
は,
と書け, これより, をに内分する点をFとすると,
となり, はを倍したものなので, となる。また, これより, 点Pはをに外分した点である。
したがって, 点Pは四面体の外部にある。