Niezrozumiałe jest dla mnie to, w jaki sposób wyznaczasz równania prostych. Prostą można przedstawić w postaci równania:
y = Ax + B
A, B to współczynniki prostej (nie mylić z punktami A,B z treści zadania). Aby je wyznaczyć, wystarczy znajomość współrzędnych dwóch punktów, które na niej leżą:
y1 = Ax1 + B
y2 = Ax2 + B
A = (y2 - y1/x2 -x1)
B = y1 - (y2 - y1/x2 -x1)x1
Wystarczyło odjąć stronami dwa pierwsze równania i trochę poprzekształcać. Teraz musisz wyznaczyć trzy pary współczynników tych prostych:
y = A_AB * x + B_AB
y = A_AC * x + B_AC
y = A_BC * x + B_BC
Następnie należy dowiedzieć się, jak ten trójkąt wygląda, by wyznaczyć warunki tak, by określić wnętrze trójkąta. I tak, jak sobie to narysujesz i umieścisz dowolny punkt P(x0,y0) wewnątrz trójkąta, to zobaczysz, że muszą zachodzić warunki:
y0 > (A_AB * x0 + B_AB) && y0 < (A_AC * x0 + B_AC) && y0 > (A_BC * x0 + B_BC)
Jeśli punkt P będzie leżał na brzegu trójkąta, to następujący warunek zwróci prawdę:
y0 == (A_AB * x0 + B_AB) || y0 == (A_AC * x0 + B_AC) || y0 == (A_BC * x0 + B_BC)
Jeśli żaden z dwóch powyższych warunków nie zwróci prawdy, to znaczy że punkt leży poza trójkątem.
Niestety brakuje LaTexa na tym forum, by przedstawić wzory w czytelniejszej postaci.