The 5 levels of FPV drone control, from RC controllers to fully AI-controlled smart drones.

Die fünf Stufen der FPV-Drohnen-Steuerung, von RC-Controllern bis komplett KI-gesteuerten Smart-Drohnen.

Habe darüber nachgedacht, wie Drohnen grundsätzlich gesteuert werden können, und habe mir dafür eine Skala von Level 0-5 ausgedacht.

Die Einteilung ist nicht offiziell, hilft einem aber zu verstehen, wie man Drohnen steuern kann und in welche Richtung es sich in Zukunft entwickeln wird. Spoiler: Alles beweget sich Richtung KI, auch bei der Drohnen-Steuerung.

Grundsätzlich gilt, je höher die Level, desto höher ist die Computerunterstützung und desto einfacher wird es eine Drohne zu steuern.

Drohnen sind aus mehreren Gründen schwer zu steuern: neue Flugzeugklasse, extrem agil, schnell, aber auch veraltete, suboptimale Controller-Konzepte machen die Steuerung vor allem für Gamer, die Gamepads oder Maus/Tastatur gewohnt sind schwer und gewöhnungsbedürftig.

Die 5 Levels der Drohnen-Steuerung:

Level 0: Low-Level Rotoren-Steuerung

Der Vollständigkeit halber beginne ich mit der Level 0, der direkten Steuerung der 4 Rotoren eines Quadcopters, die in der Praxis aber nicht verwendet wird, da die Rotoren-Steuerung noch schwieriger und unintuitiver zu lernen wäre als alle höheren Folge-Levels. Im Prinzip werden alle Steuerungen auf Level 0 übersetzt, d.h. der Board-Computer steuert separat den Schub der 4 Rotoren eines Quadcopters, um die Drohne damit in die gewünschte Richtung zu bewegen.

Level 1: Rotations-Steuerung (FPV/Acro-Drohnen)

Das ist die ursprüngliche Art wie Kampf-Flugzeuge, Helikopter oder auch FPV-Drohnen gesteuert werden. Im Prinzip steuert man die Drohne im Acro-Modus mit drei Rotations-Bewegungen (x, y, und z-Achse) und den Schub. In diesem Modus muss man also in Rotationen der Drohne denken, was man erst mühsam lernen muss. Die Drohne stabilisiert sich in diesem Level auch nicht selbständig. Der Vorteil dieses Modus ist, dass man damit auch akrobatische Figuren und Drohnen-Rennen fliegen kann.

Level 2: Translations-Steuerung (Smart-Drohnen)

Eine Weiterentwicklung, die vor allem bei Kamera-Drohnen zum Einsatz kommt, ist die Translations-Steuerung. Anders als bei der Level 1 bewegt man hier die Drohne direkt entlang der x, y, und z-Achse, während sich die Drohne automatisch stabilisiert. Dieser Modus eignet sich hervorragend, um Luftaufnahmen zu machen, da man damit sehr stabile, langsame Kamerabewegungen ausführen kann.

Level 3: Vektor-Steuerung (VR-ähnlicher Controller oder Maus)

Eine intuitivere Steuerung verspricht der DJI Motion Controller, der ähnlich wie ein VR-Controller funktioniert. Anstatt die Drohne mit Rotationsbewegungen oder Translationen entlang der 3 Achsen zu steuern, wird hier mit der Hand ein Vektor im 3 dimensionalen Raum vorgegeben, entlang die Drohne fliegen soll. Man zielt sozusagen mit dem Controller in die Richtung, in die man fliegen möchte (ähnlich wie mit einem Laser-Pointer) und steuert den Schub separat mit einem Trigger. Diese Art der Steuerung würde sich auch perfekt für die Maus/Tastatur eignen.

Eine Weiterentwicklung, die es meines Wissens nach noch nicht gibt, wäre Level 1, 2, und 3 mit zwei VR-ähnlichen Controllern mit Sticks und Motion-Control zu kombinieren.

Level 4: Autopilot (GPS)

Bis jetzt haben wir die Drohne im Wesentlichen immer manuell gesteuert. In Level 4 kann die Drohne einfache Manöver selbständig ausführen. Dazu zählen zum Beispiel die Return-To-Home-Funktion von Smart-Drohnen.

Level 5: KI-Steuerung (Prompt-basiert)

Das autonome Fliegen müsste man eigentlich wieder in weitere Unterklassen unterteilen, aber die grundsätzliche Idee ist, dass die Drohne mit KI selbstständig fliegen, Hindernissen ausweichen und sogar Prompts ausführen kann. Die Idee ist, dass man für eine Luftaufnahme, die Drohne nicht mehr direkt steuert, sondern einen Prompt vorgibt, was die Drohne filmen soll und die Drohne führt das dann selbständig und sicherer als ein menschlicher Pilot aus. Das ist die Richtung, in die wir uns bewegen.

Denke in der Zukunft, wird man sowohl militärische als auch zivile Smart-Drohnen immer weniger manuell steuern, sondern die Steuerung wird zunehmend von einer KI erledigt werden. Der Mensch wird nur noch den Prompt vorgeben.

Was sagt ihr dazu? Habt ihr schon mal eine Drohne geflogen (real oder in einem Simulator)? Warum ist die Steuerung von Drohnen mit den klassischen Controllern so schwierig? Wie wird sich die Drohnensteuerung mit KI ändern?

FPV drone. AI-generated illustration (copilot)

English

The five levels of FPV drone control, from RC controllers to fully AI-controlled smart drones.

I thought about how drones can be controlled in general and came up with a scale from level 0 to 5.

The classification is not official, but it helps to understand how drones can be controlled and in which direction they will develop in the future. Spoiler: Everything is moving towards AI, including drone control.

Basically, the higher the level, the greater the computer support and the easier it gets to control a drone.

Drones are difficult to control for several reasons: they are a new class of aircraft, extremely agile, fast, but also outdated, suboptimal controller concepts make them difficult to control and take some getting used to, especially for gamers who are used to gamepads or mouse/keyboard.

The 5 levels of drone control:

Level 0: Low-level rotor control

For the sake of completeness, I will start with level 0, the direct control of the 4 rotors of a quadcopter, which is not used in practice, however, as rotor control would be even more difficult and unintuitive to learn than all higher subsequent levels. In principle, all controls are translated to level 0, i.e., the board computer separately controls the thrust of the four rotors of a quadcopter to move the drone in the desired direction.

Level 1: Rotation control (FPV/acro drones)

This is the original way in which fighter planes, helicopters, and FPV drones are controlled. In principle, you control the drone in acro mode with three rotational movements (x, y, and z axes) and thrust. In this mode, you have to think in terms of the drone's rotations, which takes some effort to learn. The drone does not stabilize itself automatically in this level. The advantage of this mode is that it allows you to perform acrobatic maneuvers and fly drone races.

Level 2: Translation control (smart drones)

Translation control is a further development that is mainly used in camera drones. Unlike Level 1, here you move the drone directly along the x, y, and z axes, while the drone stabilizes itself automatically. This mode is ideal for taking aerial photographs, as it allows you to perform very stable, slow camera movements.

Level 3: Vector control (VR-like controller or mouse)

The DJI Motion Controller, which works similarly to a VR controller, promises more intuitive control. Instead of controlling the drone with rotational movements or translations along the 3 axes, you use your hand to specify a vector in 3-dimensional space along which the drone should fly. You aim the controller in the direction you want to fly (similar to a laser pointer) and control the thrust separately with a trigger. This type of control would also be perfect for a mouse/keyboard scenario.

A further development, which to my knowledge does not yet exist, would be to combine levels 1, 2, and 3 with two VR-like controllers with sticks and motion control.

Level 4: Autopilot (GPS)

Until now, we have essentially always controlled the drone manually. In level 4, the drone can perform simple maneuvers independently. This includes, for example, the return-to-home function of smart drones.

Level 5: AI control (prompt-based)

Autonomous flying would actually have to be subdivided into further subclasses, but the basic idea is that the drone can fly independently with AI, avoid obstacles, and even execute prompts. The idea is that, for aerial photography, you no longer control the drone directly, but instead give it a prompt telling it what to film, and the drone then carries this out independently and more safely than a human pilot. This is the direction we are moving in.

I think that in the future, both military and civilian smart drones will be controlled less and less manually, and control will increasingly be handed over to AI. Humans will only give the prompts.

What do you think? Have you ever flown a drone (in real life or in a simulator)? Why is it so difficult to control drones with traditional controllers? How will drone control change with AI?