Hoste studeerde in 1907 af aan de Université Libre de Bruxelles als doctor in de rechten. Zijn vader betrok hem vrijwel onmiddellijk in de leiding van het familiebedrijf, de uitgever van Het Laatste Nieuws, De Vlaamsche Gazet van Brussel en De Zweep, een radicaal liberaal weekblad en de voorloper van Zondagnieuws. Na de Eerste Wereldoorlog nam hij de leiding in het bedrijf.
Tijdens de Eerste Wereldoorlog werd de publicatie van Het Laatste Nieuws stopgezet en week Hoste uit naar Nederland, waar hij net als Frans Van Cauwelaert meewerkte aan het dagblad De Vlaamsche Stem. Toen dat blad echter een activistische koers ging varen, richtten ze samen Vrij België op. Na de wapenstilstand werd Hoste opnieuw directeur en hoofdredacteur van Het Laatste Nieuws. In 1933, na het overlijden van vader Hoste, was Hoste junior enkel nog directeur. Marcel Stijns werd toen hoofdredacteur.
Hoste werd minister van openbaar onderwijs (1936-38) en onderstaatssecretaris voor het openbaar onderwijs in de Belgische regering in ballingschap in Londen (1942-44). Na de bevrijding nam hij opnieuw de leiding op zich van Het Laatste Nieuws. Van 1949 tot zijn overlijden in 1954 was Hoste liberaal senator in het arrondissement Brussel. Na zijn dood werd door zijn nazaten de NV Uitgeverij Hoste opgericht.
