Difficile à avaler
Le premier mode de préparation du café était le café à la sultane (à la turque). On l'appelait aussi le café fort.
Dans l'expression, le mot café ne joue ici que le rôle de renfort de c'est un peu fort (sous-entendu : à admettre), et l'on peut supposer que l'expression a jailli d'une discussion animée autour d'une table de café, les successeurs des premiers cabarets de caffé du temps de la Régence.