Come: hacia quien habla o escucha
Come es moverse hacia donde está el que habla o el que escucha: Come here!, Are you coming to the party? Por eso ya voy es I'm coming: vas hacia la persona que te llama.
Go: hacia otro sitio
Go es ir a un lugar donde no están ni tú ni tu interlocutor: I'm going to the shop, Let's go home, She went to Paris.
¿Puedo ir contigo?
Ir con alguien es come with: Can I come with you? Aunque en español digas ir, en inglés te unes a la otra persona, así que es come.
Bring y take siguen la misma lógica
Igual que come y go, bring es traer hacia aquí y take es llevar hacia allí.