生葉生産農家ですが、自園自製のため、茶工場を持っています。この部分も農業という認識でよいでしょうか?

(技術レター2017年10月号)

労働基準法の適用単位は「事業場」であり、主に場所的観念(同一の場所か離れた場所かということ)で判断されます。
一定の加工設備を有する場合には同一の経営主体であっても「製造業」として扱われるようです(労働基準法 解釈総覧より)。

なお、「農業」「製造業」等の産業の分類は総務省の示す「日本標準産業分類」によります。
労働災害保険(労災保険)の料率もこの産業分類により異なるようですので、ご自分の農場がどの産業区分であるかの参考になると思われます。
不明な場合には、労働基準監督署や社会保険労務士に相談されることをお勧めいたします。