Wie übersetze ich Gebärdensprache mit Arduino in Text?

Wir haben konsequent akzeptiert, dass Technologie für alle und für immer zugänglich sein sollte, egal ob es sich um normale Menschen oder um Menschen mit besonderen Fähigkeiten handelt. Der grundlegende Vorteil von Innovation besteht darin, Einzelpersonen einzubeziehen und zu verbessern, sie nicht zu erobern, sondern ihnen zu helfen.

Menschen mit Sprachunfähigkeit verwenden unterschiedliche Kommunikationsmittel, um ihre Botschaften zu übermitteln. Die häufigste davon ist die Gebärdensprache. Gebärdensprache ist eine Sprache, die Gestenmodalität verwendet, um eine Nachricht zu übermitteln. Gebärdensprache ist unter Menschen üblich, die nicht sprechen oder zuhören können. Hier ist ein Projekt, das Ihnen hilft, die Gebärdensprache in einen Text zu übersetzen, der für andere Menschen verständlich ist.

Wie erstelle ich mit Arduino einen Sign-to-Text-Übersetzer?

Lassen Sie uns nun weitere Daten sammeln, analysieren, eine Schaltung erstellen und den Code auf dem Mikrocontroller brennen.

Schritt 1: Voraussetzungen

Bevor wir anfangen zu arbeiten, ist es besser, die Geräte, die wir verwenden werden, zu sammeln und zu studieren. Eine Liste unten zeigt alle Elemente, die wir in diesem Projekt benötigen.

Schritt 2: Einrichten des Geräts

Wir werden Flex-Sensoren verwenden, um die Geste zu erkennen. Der Flex-Sensor ist ein Sensor, der bei jeder Biegung einen anderen Widerstand und einen anderen Winkel bietet. Es hat zwei Pins, die in einer Spannungsteilerkonfiguration verbunden sind. Die Verbindung dieser Pins mit dem Arduino ist unten gezeigt.

FLEX 1, FLEX 2, FLEX 3, FLEX 4, FLEX 5 sind die Flex-Sensoren und RES1, RES2, RES3, RES4, RES5 sind die 470-Ohm-Widerstände. Ein Punkt aller Flex-Sensoren ist gemeinsam und 5 V werden an ihn angelegt. Am anderen Ende ist ein Zweig aller Widerstände gemeinsam und mit Masse verbunden. Der Eingang zu den Arduino-Pins empfängt analoge Daten von 0 bis 1023, die im Code in die digitale Form konvertiert werden.

Da wir wissen, wie ein Flex-Sensor funktioniert, befestigen Sie jeden Flex-Sensor an den Fingern des Handschuhs (vermeiden Sie die Verwendung von Klebstoffen). Löten Sie die Überbrückungsdrähte an alle Flex-Sensoren und verbinden Sie sie mit dem Veroboard, wie in der obigen Abbildung gezeigt. Löten Sie die Verbindungen sorgfältig und führen Sie einen Durchgangstest durch. Wenn der Durchgangstest fehlschlägt, überprüfen Sie Ihre Lötverbindungen erneut und beheben Sie sie.

Schritt 3: Erste Schritte mit Arduino

Wenn Sie nicht über die Arduino IDE verfügen, laden Sie die neueste Version von Arduino herunter

Verbinden Sie das Arduino mit Ihrem PC und gehen Sie zu Systemsteuerung> Hardware und Sound> Geräte und Drucker, um den Namen des Ports zu überprüfen, an den Arduino angeschlossen ist. Auf meinem PC ist es COM14. Auf Ihrem PC kann dies anders sein.
Öffnen Sie Ihre Arduino IDE und stellen Sie das Board auf "Arduino / Genuino Uno".
Öffnen Sie Ihre Arduino IDE und stellen Sie den Port ein, den Sie zuvor in Ihrem PC beobachtet haben.
Laden Sie nun den unten angehängten Code herunter und laden Sie ihn auf Ihr Arduino Board hoch, indem Sie auf die Schaltfläche Hochladen klicken.

Download-Link: Klicken Sie hier

Schritt 4: Code

Der Code ist gut kommentiert, aber hier ist eine allgemeine Erklärung, wie es funktioniert.

Zu Beginn des Codes werden 5 analoge Pins von Arduino initialisiert, um mit den Flex-Sensoren verwendet zu werden. Dann wird der Vcc vom Arduino und der Widerstand von 4,7 kOhm initialisiert, der in der Schaltung verwendet wird. Dann wird der Widerstand des geraden Flex-Sensors und der Widerstand in einem 90-Grad-Winkel initialisiert. Diese Initialisierungen sind beim Schreiben des Codes hilfreich.
void setup () ist eine Funktion, bei der wir die Baudrate des Arduino initialisieren und alle fünf analogen Pins initialisiert werden, um als INPUT verwendet zu werden. Die Baudrate ist die Geschwindigkeit, mit der der Mikrocontroller kommuniziert.
void loop () ist eine Funktion, die in einem Zyklus immer wieder kontinuierlich ausgeführt wird. In dieser Funktion werden alle analogen Werte gelesen und in digitale Werte umgewandelt. Dann wird der Widerstand unter Verwendung der Spannungsteilerformel berechnet und durch diesen Widerstand wird der Biegewinkel des Flexsensors berechnet.

Wenn Sie den Code verstanden und hochgeladen haben, tragen Sie die Handschuhe und führen Sie verschiedene Gesten aus, um sie in Text zu übersetzen. Im Code können Sie weitere Kombinationen von Fingerbewegungen Ihrer Wahl hinzufügen und die Meldung entsprechend anzeigen. Sie werden sehen, dass Ihre Gebärdensprache jetzt in Text umgewandelt wird.

Schritt 5: Erweitert

In diesem Projekt geht es darum, die Gebärdensprache in Text umzuwandeln und auf dem seriellen Monitor anzuzeigen. Da der verwendete Mikrocontroller Arduino ist, funktioniert dieses Gerät nur, wenn der Arduino über ein Datenkabel mit dem PC verbunden ist, da Arduino kein integriertes WiFi-Modul hat. Um dieses Projekt ein wenig interessanter zu gestalten, können Sie ein externes WiFi-Modul hinzufügen oder ein ESP-Modul anstelle von Arduino verwenden und das Datenkabel entfernen und eine Sprachübersetzung über WiFi genießen.