Pembelajaran terdistribusi (FL) adalah bidang penelitian yang berkembang pesat dalam pembelajaran mesin. Namun, perpustakaan FL yang ada tidak dapat mendukung pengembangan algoritma yang beragam secara memadai; penggunaan dataset dan model yang tidak konsisten membuat perbandingan algoritma yang adil menjadi menantang. Dalam karya ini, kami memperkenalkan FedML, sebuah perpustakaan penelitian terbuka dan tolok ukur untuk memfasilitasi pengembangan algoritma FL dan perbandingan kinerja yang adil. FedML mendukung tiga paradigma komputasi: pelatihan di perangkat untuk perangkat tepi, komputasi terdistribusi, dan simulasi mesin tunggal. FedML juga mempromosikan penelitian algoritma yang beragam dengan desain API yang fleksibel dan generik serta implementasi baseline referensi yang komprehensif (pengoptimal, model, dan dataset). Kami berharap FedML dapat menyediakan cara yang efisien dan dapat direproduksi untuk mengembangkan dan mengevaluasi algoritma FL yang akan bermanfaat bagi komunitas penelitian FL.