Da reicht sogar ein Holzhalter und Fiedelbogen. Oder eine geschickte Hand.
Am Sitz der Riemenscheibe würde ich auch gnadelos einen feinen Schleifpapierstreifen rumziehen. Da geht es nicht ganz so genau.

Du musst dir einfach drüber im Klaren sein, dass eine Macke von 0,01mm in der Passung drüber entscheidet, ob die Teile klemmen oder nicht.
Also schau ganz genau hin und arbeite sehr sorgfältig. Es handelt sich um eine Präzisionsmaschine.