Seiteninhalt Kontaktlinks
  • Laufzeit: 01.05.2020 – 30.04.2023
  • Schwerpunkt: Nachwachsende Rohstoffe
  • Forschungsstatus:  Abgeschlossen

Evaluierung und Weiterentwicklung moderner Verfahren der künstlichen Intelligenz zur automatischen Erkennung von Unkraut in Sorghum mit Hilfe von Drohnen (EWIS)

  • Verbundprojektleitung: Michael Grieb

Neuartige Technologien, verknüpft mit intelligenter Software, eröffnen große Potenztiale im Bereich der Effizienzsteigerung in der Landwirtschaft. Durch den integrierten Pflanzenschutz, der aus biologischer Bekämpfung, Wirtspflanzenresistenz und angepassten Anbaupraktiken besteht, wird der Einsatz von Pflanzenschutzmitteln auf ein Minimum reduziert. Dies kann eine optimale Lösung für die Zukunft der Landwirtschaft darstellen, da es Erträge sichert, Kosten senkt, umweltfreundlich und nachhaltig ist. Die Bayerische Staatsregierung hat in einem Maßnahmenpaket zugunsten der Artenvielfalt und Naturschönheiten in Bayern als Ziel die Reduzierung des Einsatzes von Pflanzenschutzmitteln um 50 % bis zum Jahr 2028 festgelegt. Die Strategie für die Umsetzung soll eine Kombination aus biologischem Landbau, Beratung und Digitalisierung sein.

Ziele des Projekts

In diesem Projekt wurden innovative Ansätze der smarten Digitalisierung zur automatischen Unkrauterkennung mittels Fernerkundung auf landwirtschaftlichen Nutzflächen untersucht und entwickelt. Dabei wurde Sorghum als Nachwachsender Rohstoff zur Untersuchung der Forschungsfragen verwendet. Sorghum dient als Energiepflanze und wird vor allem für die Biogasproduktion angebaut. Gerade unter den extremen Witterungsbedingungen der letzten Jahre mit heißen und trockenen Sommern konnte Sorghum den aktuellen klimatischen Veränderungen trotzen. Die hohe Biomasseleistung und die große Sortenvarietät in Verbindung mit seiner Trockenheitstoleranz und Nährstoffeffizienz machen Sorghum zu einer vielversprechenden Rohstoffpflanze. Laut den INVEKOS-Daten wurde Sorghum in 2018 auf ca.1.500 ha angebaut, was die Bedeutsamkeit als Nachwachsender Rohstoff verdeutlicht.

Verfahrensentwicklung

Mit Hilfe von modernsten Verfahren der künstlichen Intelligenz (KI) und des maschinellen Lernens (z. B. künstliche neuronale Netze/Deep Learning) wurden drohnenbasierte Bildaufnahmen der Anbauflächen analysiert. Ziel dieses Projekts war es, nicht nur etablierte Kl-Verfahren zu untersuchen und deren Anwendbarkeit zu evaluieren, sondern auch neuartige Methoden zu entwickeln, welche mit möglichst hoher Genauigkeit Unkraut- und Ungrasflächen im Bestand erkennen und lokalisieren können.

ln einem zweiten Schritt wurde dieses Verfahren auf Mais übertragen. Die entwickelten KI-Verfahren können in Zukunft dabei helfen, effizientere und zielorientiertere mechanische Unkrautbekämpfung (z. B. durch Hackroboter) durchzuführen und somit den Einsatz von Pflanzenschutzmitteln zu reduzieren.

Publikationen

  • Raymond Ajekwe, Michael Grieb, Nikita Genze, Prof. Dr. Dominik Grimm

    Beikrauterkennung mit Drohnen
    und künstlicher Intelligenz     (2021) Schule und Beratung 2021 (8-10), S. 12-15.

    Neuartige Technologien, verknüpft mit intelligenter Bildauswertung, eröffnen große Poten- ziale im Bereich der Effizienzsteigerung in der Landwirtschaft. Mit Hilfe von modernsten Ver- fahren des maschinellen Lernens (z. B. künstliche neuronale Netze) sollen drohnenbasierte Bildaufnahmen von Sorghum-Anbauflächen automatisch analysiert und Beikraut erkannt werden. Sorghum wird in Bayern als Energiepflanze vor allem für die Biogasproduktion an- gebaut. Die hohe Biomasseleistung und die große Sortenvarietät in Verbindung mit seiner Trockenheitstoleranz und Nährstoffeffizienz machen Sorghum zu einer vielversprechenden Rohstoffpflanze.
    Mehr

  • Nikita Genze, Raymond Ajekwe, Zeynep Güreli, Prof. Dr. Florian Haselbeck, Michael Grieb, Prof. Dr. Dominik Grimm

    • Berechtigungen:  Open Access
    • Berechtigungen:  Peer Reviewed

    Deep Learning-based Early Weed Segmentation using Motion Blurred UAV Images of Sorghum Fields (2022) Computers and Electronics in Agriculture 202 . DOI: 10.1016/j.compag.2022.107388

    Weeds are undesired plants in agricultural fields that affect crop yield and quality by competing for nutrients, water, sunlight and space. For centuries, farmers have used several strategies and resources to remove weeds. The use of herbicide is still the most common control strategy. To reduce the amount of herbicide and impact caused by uniform spraying, site-specific weed management (SSWM) through variable rate herbicide application and mechanical weed control have long been recommended. To implement such precise strategies, accurate detection and classification of weeds in crop fields is a crucial first step. Due to the phenotypic similarity between some weeds and crops as well as changing weather conditions, it is challenging to design an automated system for general weed detection. For efficiency, unmanned aerial vehicles (UAV) are commonly used for image capturing. However, high wind pressure and different drone settings have a severe effect on the capturing quality, what potentially results in degraded images, e.g., due to motion blur. In this paper, we investigate the generalization capabilities of Deep Learning methods for early weed detection in sorghum fields under such challenging capturing conditions. For this purpose, we developed weed segmentation models using three different state-of-the-art Deep Learning architectures in combination with residual neural networks as feature extractors.We further publish a manually annotated and expert-curated UAV imagery dataset for weed detection in sorghum fields under challenging conditions. Our results show that our trained models generalize well regarding the detection of weeds, even for degraded captures due to motion blur. An UNet-like architecture with a ResNet-34 feature extractor achieved an F1-score of over 89 % on a hold-out test-set. Further analysis indicate that the trained model performed well in predicting the general plant shape, while most misclassifications appeared at borders of the plants. Beyond that, our approach can detect intra-row weeds without additional information as well as partly occluded plants in contrast to existing research.All data, including the newly generated and annotated UAV imagery dataset, and code is publicly available on GitHub: https://github.com/grimmlab/UAVWeedSegmentation and Mendeley Data: https://doi.org/10.17632/4hh45vkp38.3
    Mehr

  • Nikita Genze, Wouter K Vahl, Jennifer Groth, Maximilian Wirth, Michael Grieb, Prof. Dr. Dominik Grimm

    • Berechtigungen:  Open Access
    • Berechtigungen:  Peer Reviewed

    Manually annotated and curated Dataset of diverse Weed Species in Maize and Sorghum for Computer Vision (2024) Scientific Data 11 . DOI: 10.1038/s41597-024-02945-6

    Sustainable weed management strategies are critical to feeding the world’s population while preserving ecosystems and biodiversity. Therefore, site-specific weed control strategies based on automation are needed to reduce the additional time and effort required for weeding. Machine vision-based methods appear to be a promising approach for weed detection, but require high quality data on the species in a specific agricultural area. Here we present a dataset, the Moving Fields Weed Dataset (MFWD), which captures the growth of 28 weed species commonly found in sorghum and maize fields in Germany. A total of 94,321 images were acquired in a fully automated, high-throughput phenotyping facility to track over 5,000 individual plants at high spatial and temporal resolution. A rich set of manually curated ground truth information is also provided, which can be used not only for plant species classification, object detection and instance segmentation tasks, but also for multiple object tracking.
    Mehr

  • Nikita Genze, Maximilian Wirth, Christian Schreiner, Raymond Ajekwe, Michael Grieb, Prof. Dr. Dominik Grimm

    • Berechtigungen:  Open Access
    • Berechtigungen:  Peer Reviewed

    Improved weed segmentation in UAV imagery of sorghum fields with a combined deblurring segmentation model (2023) Plant Methods 19 . DOI: 10.1186/s13007-023-01060-8

    BackgroundEfficient and site-specific weed management is a critical step in many agricultural tasks. Image captures from drones and modern machine learning based computer vision methods can be used to assess weed infestation in agricultural fields more efficiently. However, the image quality of the captures can be affected by several factors, including motion blur. Image captures can be blurred because the drone moves during the image capturing process, e.g. due to wind pressure or camera settings. These influences complicate the annotation of training and test samples and can also lead to reduced predictive power in segmentation and classification tasks.ResultsIn this study, we propose DeBlurWeedSeg, a combined deblurring and segmentation model for weed and crop segmentation in motion blurred images. For this purpose, we first collected a new dataset of matching sharp and naturally blurred image pairs of real sorghum and weed plants from drone images of the same agricultural field. The data was used to train and evaluate the performance of DeBlurWeedSeg on both sharp and blurred images of a hold-out test-set. We show that DeBlurWeedSeg outperforms a standard segmentation model that does not include an integrated deblurring step, with a relative improvement of 13.4% in terms of the Sørensen-Dice coefficient.ConclusionOur combined deblurring and segmentation model DeBlurWeedSeg is able to accurately segment weeds from sorghum and background, in both sharp as well as motion blurred drone captures. This has high practical implications, as lower error rates in weed and crop segmentation could lead to better weed control, e.g. when using robots for mechanical weed removal.
    Mehr

Verbundprojektleitung

  • Michael Grieb

Projektleitung HSWT

Projektbearbeitung

Partner

Adressierte SDGs (Sustainable Development Goals)

nach oben