int a=(D-B)/(C-A);
Może się okazać sytuacja gdy C-A = 0. Wtedy nastąpi dzielenie przez zero. Po prostu if'em uwzględnij czy C-A != 0. Gdy nastąpi taka sytuacja rób wszystko tak jak robiłaś. W przeciwnym przypadku wystarczy sprawdzić te współrzędne x - bo gdy y nie jest f(x) to funkcja liniowa jest pionowa. Wtedy sprawdź czy C == E (czyli czy 3 punkt też jest na tej pionowej linii co pozostałe dwa) i według tego osądź :)