不过，谈到惠斯顿，喜爱研究圣经的人通常会记得他是《约瑟夫斯文集》英语版的译者。这部文集是1世纪犹太历史家约瑟夫斯的著作，内容让人了解犹太人的历史，以及跟早期基督徒有关的事。

惠斯顿博学多才，尤其喜欢钻研科学和宗教。他相信圣经中关于创造的记载是真确的，并认为自然界的设计、秩序和美感都足以证明，万物是上帝设计和创造的。

此外，惠斯顿认为基督教之所以分裂为许多不同的教派，是因为教士们没有按照圣经教导人，反倒采纳了教会会议和教父提出的不符合圣经的道理和主张。

惠斯顿深信圣经含有来自上帝的真理。由于尊重圣经，他不同意地狱永刑这个教义。他认为这个教义荒诞不经，而且把上帝描述为一位残忍的神，对上帝是一种侮辱。不过，他跟教会出现矛盾的最主要原因，是他否定三位一体的道理。根据这个道理，上帝有三个位格，就是父、子和圣灵，三者不但同等，也同样永存，但他们不是三个神，而是一个神。

经过一番仔细研究后，惠斯顿看出三位一体不是早期基督徒的信仰，而是在异教哲学渗入基督教以后才被人采纳的一个道理。 *他的朋友警告他，公开这个结论会对他不利。可是，惠斯顿知道耶稣是上帝创造的，他的真正身份是上帝的儿子，这个真理既然被人歪曲了，他就不能噤口不言。

剑桥大学不允许任何跟圣公会唱反调的人在校内任职，这意味着惠斯顿可能会丧失他的教席。虽然如此，他并没有像牛顿那样，知道三位一体的道理不对却不敢说出来。惠斯顿说：“任何世俗的理由都不能阻止我做对的事。”

1710年，惠斯顿被剑桥免职。由于不肯放弃信仰，惠斯顿“不但丧失了显赫的地位，还备受排挤”。可是，他一点没有退缩。正当他被控离经叛道之际，他写了好几篇文章，合称《原始基督教的复苏》。“原始基督教”指的是耶稣的早期门徒信奉的基督教。后来，他又成立了一个旨在恢复原始基督教的团体，并以自己在伦敦的家作为成员集会的地点。

失去教席后，惠斯顿一度陷入经济困境，不过他仍继续写作，也在伦敦的一些咖啡厅发表演说。惠斯顿把约瑟夫斯的著作翻译成英语，译本在1737年发行。他的译作有助人明白早期基督教的历史背景，而且到今天还在印行。

惠斯顿勇于表明信仰，不怕受人排挤，因此到了今天，正如作家詹姆斯·福斯说，仍有很多人觉得他是个怪人。不过，也有一些人认为惠斯顿是个值得钦佩的圣经学者，也欣赏他热切寻求真理，坚守自己的信仰。