Clauses de loyauté et confidentialité - Puis-je travailler pour un concurrent ?

Bonjour, J'ai travaillé il y a quelques mois comme apporteur d'affaires indépendant pour une jeune entreprise A. Le contrat d'apport d'affaires qui nous liait ne contenait pas de clause de non-concurrence, mais une clause de loyauté ("comportement loyal et de bonne foi") et une clause de confidentialité (portant sur les "informations concernant les Parties, les produits et services objet du contrat d'apport d'affaires, les procédés de fabrication, les secrets d'affaire, les méthodes de vente préconisées par l'une ou l'autre des Parties et le montant du CA réalisé par l'Apporteur"). Pour faciliter ma tâche, A m'avait donné accès à son fichier client, sa messagerie interne, à son logiciel de facturation, à des extraits de son business plan et m'avait formé sur les spécificités de son produit. Au cours de ce contrat, j'ai approché l'entreprise B, concurrent direct de A qui commercialise le même type de produit. B m'a alors proposé un poste de commercial (avec un contrat de travail, ce qui m'a semblé plus intéressant que l'apport d'affaires). J'en ai informé A avant de résilier le contrat en précisant mon intention de partir chez ce concurrent tout en respectant l'obligation de confidentialité. A m'a menacé de m'attaquer si je m'engageais avec B, en mentionnant notamment le fait que j'avais eu accès aux éléments décrits plus haut. J'aimerais savoir quels risques pèsent réellement sur moi si j'accepte l'offre de B. Merci d'avance.