交规问题，发生这样的车祸怎么判？

昨天目睹一个车祸，在我们当地很热闹的一个路口，两车司机为谁是直行的问题吵得不可开交。这个路口有点奇葩，见图。

我想问的是：如果A车和B车在X点发生车祸，是谁的责任？照理说南北向的路是直行，但很多车会把转弯的这条当直行。A想往北开，B想往南开，都觉得对方应该让自己，结果撞上了。