交通事故责任认定书不是必须双方一起去取的。交通事故认定书，是指交通管理部门通过对交通事故现场勘察、技术分析和有关检验、鉴定结论，分析查明交通事故的基本事实、成因和当事人责任后所作的技术性结论。
交通事故责任认定书下来以后赔偿流程是什么
1、如果对交警认定的责任不服的，可以在收到责任认定书之日起三日内，向上一级交警部门申请复核；
2、如果对责任认定无异议的，则可以申请交警组织双方来进行调解；如果双方调解不成，或一方不愿意调解的，受害方可以向起诉要求赔偿损失；
3、在赔偿的时候，首先应该由保险公司在交强险赔偿限额内进行全额赔偿；超过部分再由对方按事故责任比例进行赔偿。
法律依据：《中华人民共和国道路交通安全法》第七十三条
机关交通管理部门应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论，及时制作交通事故认定书，作为处理交通事故的证据。交通事故认定书应当载明交通事故的基本事实、成因和当事人的责任，并送达当事人。