Um dos casos mais divulgados aconteceu em 2011 após a cerimónia dos Globos de Ouro. Durante a festa que se seguiu à gala, José Castelo Branco agrediu o relações públicas Daniel Martins. O caso chegou a tribunal e o socialite foi condenado a nove meses de prisão, com pena suspensa, e a pagar uma indemnização de 1.000 euros.
Dois anos mais tarde voltou a ser condenado por injúrias e maus tratos a uma funcionária. Embora tivesse sido condenado a pagar 6.400 euros, acabou por não o fazer alegando que não tinha fontes de rendimento que suportassem essa quantia.
Em 2014, agrediu um empreiteiro que tinha contratado para fazer obras numa casa em Sintra. Desta vez, limitou-se apenas a cumprir serviço comunitário.
Chamado à Justiça por diversas vezes, a última remonta a 2019 quando José Castelo Branco foi detido na área comercial do Aeroporto de Lisboa depois de ter roubado um perfume da marca Dior no valor de 116 euros. Negou sempre as acusações contra si, mas acabou por ser condenado.
Casado com Betty Grafstein desde 1996, a vida do casal dividia-se entre Portugal e os Estados Unidos, nomeadamente em Nova Iorque, onde a mulher do socialite tinha residência há mais de 50 anos. José Castelo Branco também não era bem visto pela vizinhança que não ficou surpreendida com as notícias sobre a sua detenção.
O único filho de Betty Grafstein terá sido impedido pela mãe de apresentar queixa depois de um episódio de violência que terá presenciado em 2003. Fontes próximas da esposa do socialite disseram à SIC que em 2007 ocorreu um novo episódio de violência.
Apesar das várias condenações, os comportamentos violentos, por parte de José Castelo Branco, mantiveram-se até aos dias de hoje.