方家有一个人人恐惧的地方，是对方家犯有错误的子弟关禁闭的地方，根据所犯错误大小，禁闭一个时辰至一年不等。方家人都形象称那些地方为“小黑屋”，小黑屋仅有三尺见方，空间内只能放下一个蒲团，普团下中空，留给禁闭人大小便，饭食则从头顶定时送下来。
即使方家性格最坚韧的子弟，在小黑屋中待足七天，出来之后也会疯掉，方尚义却在小黑屋里足足待了两年。方尚义第一次进小黑屋，是因为他将一个和他交好的家中子弟，一剑斩做两段，那个跟他交好者致死也不明白，他被杀，仅仅是因为摸了摸方尚义从不离身的剑鞘。
方尚义第一次杀人被罚关小黑屋一年，这跟死刑基本没有两年，不过令大家惊奇的是他竟然坚持下来，出来后只是脸色苍白，嘴角还含着笑意。不过刚出来，又立即被罚了一年，因为他刚出来就将一个嘲笑他的家中子弟斩杀，这个子弟还是一个真气境高手，于是方尚义又被关了一年。从此之后，方家再也无人敢招惹他，暗中传言，方尚义其实早已疯狂。
十八岁以后，方尚义独居一个院落，无人敢于同他交好，他每年出关一次，出关后必挑战一名高手，每次挑战都是一剑斩杀对手。最著名的一战，就是他去年出关将吕正阳手下