任何评价体系，都不可能绝对的客观，多少都会有些主观的东西。通常来说，主观的东西越少，这套评价体系就越好用，评委之间的分歧就越小。比如联盟的评价体系，评委间的分歧就很小。根据同一个标准去评价，得到的结果也是大差不差的。协会创造的这套评级体系，当然不可能跟联盟的评级体系去比，肯定做不到联盟评级体系那么优秀，但归乔等人，还是会尽可能的努力，不断的修正、不断的迭代，尽可能将它修改得越来越好。实践测试，就是真刀真枪的衡量。首先，不能出错。炼器师有绝活，不能给人评价得没有绝活。炼器师的绝活不合格，不能评价为合格。炼器师的绝活也有层次，不能在层次方面出错。这个是非常基本的要求。倘若这些要求都做不到，那么，这套评级体系就是个废物，就是废的，根本不能用。因而，在这方面的测试，整个协会都非常的认真，也非常的小心。通过实践测试，可以发现一些问题。参与整个评级体系创作的老前辈们，就聚在一起，但凡出现问题就直接开始讨论，有必要修改的地方，就直接进行修改。经过实践的验证，证明新创造出来的这套评级体系，其实是可以用的。最基本的评级功能，是达到设计要求的。这是一套可以用的系统，不会出现错误。能不能用的问题验证过了，接下来就是好不好用。能不能用，是指评级体系具不具备可靠的评级能力；而好不好用，就是之前说的客观度、精细度、精准度等等问题。经过实践测试，总得说来，不算好用 但也没那么难用。不算好用的意思 其实就是这套评级体系，并没有那么优秀。至少跟联盟的评级体系比起来 协会创造的这套体系 就显得非常的一般，没什么可以称道的地方。但其实 它也没那么难用。客观度还可以，精细度也还可以 精准度也好可以。没有太突出的地方 但也着实没有什么重大缺陷。事实上，新创造出来的评级体系，差不多也就是这样了。一个好的评级体系，实在使用过程中 不断的迭代 不断的修改，不断的调整，从而慢慢的进化。现在，原始版本能够做到这种程度，其实已经非常不错了。不过 归乔还是比较小心。他又安排人手，进行了第二次和第三次的测试 确认没什么问题也以后，这才开始进行制度设计。评级体系 要配合制度设计。因为评级，始终是人在评级。既然是人在评级 那就免不了的 有人会作弊。以前的协会 就是在评级服务这块，率先沦陷。前事不忘、后事之师。重组后的协会，自然要防止腐化。而这，就需要进行制度设计。联盟的评审制度，倒是简洁实用，但问题就在于，联盟的那套制度，协会没法用。因为两套评级体系不同。联盟的评级体系，是综合性的评定，拥有足够的水平，就能担任评委。所以，他们可以采用评审团，然后抽签选出评委。但协会这边的评级体系不一样。协会的评价体系是针对绝活的。而不是每个炼器师都懂绝活，也不是每个炼器师都能评价所有的绝活。打个比方，不同的类型绝活，就好比语、数学、外语、物理、化学、生物，等等。没有哪个评委，精通所有类型的绝活。即便是归乔，也只是懂一些。有些领域的绝活，他也不懂。既然不懂，那就不可能抽签。不然，抽签抽出来的都是不懂的，这不是在搞笑嘛。因此，联盟的方法虽然好，但协会这边确实没法用。建立评审团，然后抽签，对于协会来说是完全不适用的。协会这边，需要组建多支不同的评级队伍，然后让专门的评级队伍去评审相应的绝活。如此一来，评委就是固定的。而评委是固定的，意味着，这很容易产生腐败。因为评委固定，所以，存在着行贿受贿的可能性。如果没有特殊的设计，那么，不管怎么管理，不管怎么预防，都必然会出现腐败，最多只是早晚有别而已。因为，归根结底，人就是有私心的生物。不爱钱，那么，女人呢？不爱女人，不爱钱，那么，家人呢？不爱女人，不爱钱，也不在意家人，那么，权力呢？即便权力也不爱，那么，人情债呢？只要人是有私心的，腐化就是必然。众人聚在一起，就是要设计一个制度，让人想腐都没办法腐。最终，还是有人想到了办法模仿高考阅卷。高考阅卷，看不到名字，只看得到答案。而炼器协会的评审，也将采用类似的方法。参与评级的人，在特制的房间里进行展示，然后进行录像。这个房间是特制的，通过阵法的配合，隐掉参评人，也隐掉他的任何肢体动作，只留下炼器的反应过程。而这个过程被拍摄下来，进行录像。最后，评委看到的只是录像。在个录像没有姓名，评委也不知道参评人是谁。在这种情况下，行贿也没啥用。因为，评委也不知道谁是谁。当然，参评人也可以做点特别的动作，用来暗示，或者提醒。而这一点，其实很办好。出现不相干的动作，或者非炼器的技术动作，那就直接重来。只要保证，提交给评委的视频，是干净的，没有动作暗号的视频，即可。而只需要建立现场监督，就可以完成。而现场监督可以采用跟联盟类似的抽签制度，先组建一个监督团，然后进行抽签，决出当天的监督人员。最后，监督人员监督参评过程，再监督视频内容。如此一来，提交给评委的视频，就是干净的。评委只看到的炼器过程。他们也只能对炼器过程进行评审。这样得制度执行起来，就可以极大化的避免腐化堕落的问题。这样的制度设计，非常的有意义。