荀彧字文若，颍川郡颍阴县人。祖父荀淑，字季和，曾任朗陵县令，在汉顺帝、桓帝时，很有名望。荀淑生有八子，号称“八龙”。荀或的父亲荀绲，曾任济南国相，叔父荀爽，曾任司空。
荀或年少时，南阳人何颙十分欣赏他，说：“这是个可以辅佐帝王的良才!”永汉元年（公元189年），荀或被举为孝廉，授予守宫令（掌管皇帝的笔、墨、纸张等物品）。
董卓之乱时，荀或请求出任地方官，任亢父县令，终于弃官回乡，对父老们说：“颍川是四面受敌的兵家必争之地，天下有变，首当成为军事要冲，应赶紧离开这里，不要久留。”乡里很多人留恋故土，犹豫不决。