Né à Sheffield, en Angleterre, Varley, à l’instar de son ami d’enfance Arthur Lismer, étudie à la Sheffield School of Art, puis à l’Académie Royale des beaux-arts d’Antwerp, en Belgique. Il retourne ensuite à Londres pour tenter, en vain, de gagner sa vie en tant qu’illustrateur. Quatre ans plus tard, il retourne à Sheffield, où il devient père de deux enfants après s’être marié. En 1912, dépressif, ruiné et peinant à vivre sa famille, il retrouve son ami d’enfance Lismer, qui le persuade d’émigrer au Canada. Il travaille tout d’abord pour Grip Ltd., puis se place chez Rous & Mann, où il retrouve d’anciens collègues de travail et artistes peintres dont Tom Thomson et Franklin Carmichael.