为春秋时代郑穆公之子公子偃，字子游，乃以先辈之字为氏，从汉代就居于左冯翊，为郡中大姓。所谓“麴与游，牛羊不到头……”的金城游氏，其实只是冯翊游氏的分支而已，不过如今分支繁盛，主支反倒衰败了。
这个游遐就是冯翊游氏族人，少有高名，据他自己说，十五岁的时候前往洛阳游学，拜见过宰执张华，张华与之交谈后甚奇，夸赞说：“此儿雅洁洪方，精公才也。”当然啦，张华如今骨头都烂了，必然不能够站出来作证。
然后二十出头，游遐就被举为孝廉。孝廉本是汉代儒者的主要出仕之阶，不过这年月仅仅只留虚名而已，孝廉出身未必就能当官，再加上世道越来越乱，游遐也就逐渐淡漠了出仕的念头，只管在家乡照顾家族产业，平素以读书、写字为乐。
前几年梁肃担任冯翊郡守，贪图游氏的产业，想要榨出点儿财货来，却为游遐所阻，一怒之下，便遣人诬告游遐与盗贼相勾结，将其下于狱中。其后不久，刘曜率大军来攻，北部各县逐一陷落，梁肃慌了，胡军游骑才刚出现在大荔近郊，他就主动弃守而逃。于是趁着大荔城内官吏尽散，而胡汉大军还没有抵达的机会，游氏族人劫了大牢，把已经被拷打得只剩半条命的游遐救了出来，暂时安置在城外某坞