Нужно прописать у атрибута класса:
HelpTopic("MSPalette", 9603)
где MSPalette - название chm-файла, 9603 - Id топика.
То есть например:
[Serializable,
ComVisible(true),
Guid("FDCE629F-69C6-402c-BB7C-AA1E44B40EB5"),
CatID(CatIDs.CATID_FB_WITHOUT_PROPS),
HelpTopic("MSPalette", 9603),
DisplayName("Мой ФБ"),
FBOptions(FBOptions.EnableChangeConfigInRT),
]