Have you tried Copilot / GPT voice mode? 3 show stoppers for me. It stopped working.

(edited)

Habt ihr schon den Copilot / GPT Voice-Mode probiert? Ist ziemlich beeindruckend, wenn es funktionieren würde. 3 Gründe, die leider den Spaß verderben. Es funktioniert nicht richtig.

Der GPT-4o Voice Mode, den auch Copilot mittlerweile kostenlos anbietet, ist vorweg der beste Sprachassistent, den ich jemals verwendet habe.

So gut hat die Spracherkennung noch nie funktioniert und man kann mit der KI sogar in mehreren Sprachen sprechen, teilweise sogar mixen, was früher zum Beispiel mit Cortana, Alexa, Siri eine Katastrophe war.

Disclaimer: Habe den Sprachmodus in der Web-App, im "AI Browser" Edge (eigene Funktion) und unter Windows 11 (mit einem Surface Gerät) und Android getestet.

Die Probleme beziehen sich leider auf alle getesteten Versionen, haben aber vielleicht damit zu tun, dass im Hintergrund die Web-App verwendet wird.

3 Gründe, die im Moment den Spaß am Voice-Mode verderben:

1 // Voice-Mode funktioniert nicht.

Der Voice-Mode funktioniert leider nicht richtig. Die KI bricht die Antwort nach 1-2 Sätzen ab, wenn es sich um eine längere Antwort handelt, hört auf zu sprechen, obwohl der Text teilweise generiert wurde.

Auch nach ein zwei Folgefragen ist Sense. Die KI antwortet dann gar nicht mehr.

Weiß nicht genau, woran das liegt, vielleicht erkennt das Mikrofon irrtümlich Hintergrundgeräusche, wie lautes Atmen, als Sprechen und bricht die Konversation dann ab. Leider besteht das Problem schon seit Wochen und auch auf mehreren Geräten.

2 // Spracherkennung ist gut, aber nicht perfekt.

Das zweite Problem ist, dass die Spracherkennung zwar gut ist, aber nicht perfekt. Immer wieder werden einfache Wörter falsch verstanden. Bei seltenen Wörtern ist es noch schlimmer. Vielleicht liegt es auch an meiner Aussprache, vor allem wenn man als nicht native Speaker auf Englisch mit der KI plaudert. Die Fehlerrate ist gefühlt leider immer noch zu hoch und noch nicht auf AGI-Level.

3 // Folgefragen nerven.

Der Voice-Mode ist standardmäßig sehr gesprächig und emotional. Flirtatious. Nach jeder Frage folgt eine persönliche Gegenfrage, warum man etwas gefragt hat. Finde das nervt nach einiger Zeit, wenn man die KI eher als Assistenten und nicht als AI-Girlfriend verwenden möchte.

Was sagt ihr dazu? Habt ihr den Copilot/GPT-4o Voice-Mode schon getestet? Was sind eure Erfahrungen damit?

Screenshot: Copilot Voice Mode

English

Have you tried the Copilot / GPT voice mode? It's pretty impressive if it would work.

The GPT-4o Voice Mode, which Copilot now offers for free, is the best voice assistant I have ever used.

Voice recognition has never worked so well and you can even speak to the AI in several languages, sometimes even mixing them, which used to be a disaster with Cortana, Alexa and Siri in the past.

Disclaimer: I tested the voice mode in the web app, in the “AI browser” Edge (own function) and under Windows 11 (with a Surface device) and Android.

The problems unfortunately apply to all versions tested, but may have something to do with the web app being used in the background.

3 reasons that spoil the fun of voice mode at the moment:

1 // Voice-Mode does not work.

Unfortunately, voice mode is not working properly. The AI aborts the answer after 1-2 sentences if it is a longer answer, stops speaking even though the text has been partially generated.

It also stops completely after one or two follow-up questions. The AI then no longer answers at all.

I don't know exactly what the reason for this is, perhaps the microphone mistakenly recognizes background noises, such as loud breathing, as speech and then interrupts the conversation. Unfortunately, the problem has persisted for weeks and on several devices.

2 // Voice recognition is good, but not perfect.

The second problem is that speech recognition is good, but not perfect. Simple words are repeatedly misunderstood. It's even worse with rare words. Perhaps it's also down to my pronunciation, especially if you are a non-native speaker chatting to the AI in English. Unfortunately, the error rate still feels too high and not yet at AGI level.

3 // Follow-up questions are annoying.

The voice mode is very talkative and emotional by default. Flirtatious. Every question is followed by a personal counter question about why you asked something in the first place. I find this annoying after a while if you want to use the AI as an assistant rather than an AI girlfriend.

What do you think? Have you already tested the Copilot/GPT-4o voice mode? What is your experience with it?

Posted Using INLEO

0.14563319 BEE
13 comments

I have not tried that as of yet, I love hearing about these cool things to try out in your posts! It sounds like they have a few things to fix before it's a good product. Now the flirtatious follow up is kind of bizarre. Are they selling a new girlfriend? That is really weird. I'll have to take a look now that you've tried it out!

0.00281636 BEE

Hab bisher nur mit Gemini gesprochen und das war recht gut. Aber probiere das heute mal mit dem Copilot

0.00277809 BEE

Habe es bisher nicht getestet.

Diese Gegenfrage nerven mich auch bei Chatgpt wo das seit kurzem kommt.

War da doch auch nicht früher🤔

0.00277802 BEE

Ich denke, es sollte eine Option geben, um die Gegenfragen zu deaktivieren.

0.00147468 BEE

Das wäre gut, k.a. ob man es ihm dauerhaft sagen kann.

0.00277805 BEE

All the voice command things I don't usually even try, because my english pronounciations are so terribly bad.

0.00277524 BEE

Ich spreche mit ihm unterwegs auf Deutsch , geht ganz gut bis auf die nervigen Verbindungsabbrüche. Er bringt mir auch jeden Tag einen neuen Satz auf Tagallog bei und kontrolliert meine Aussprache, geht auch ganz gut.
Und als ich ihm mal vor Monaten gesagt habe, damals noch per Text, dass mir seine Höflichkeit und sein nudging auf den Keks geht , hat er das behalten. Er redet jetzt so wie ich und nervt nicht mit Höflichkeitsfragen.
Ich benutze allerdings die Mobilapp von ChatGPD

0.00277254 BEE

Oh cool, vlt geht es mit der ChatGPT App besser als mit der Copilot Web-App, ist der Voice Mode bei ChatGPT auch kostenlos?

0.00000595 BEE

Ja, es ist auch kostenlos. Aber sie braucht wohl richtig Datenvolumen.

0.00000000 BEE

!LUV

0.00277250 BEE

@vikisecrets, @valggav(1/1) sent you LUV. | tools | discord | community | HiveWiki | <>< daily

Made with LUV by crrdlx

0.00000000 BEE

Ne, das ist Neuland für mich :-)

0.00276726 BEE

I'm worried that they might record my voice and use it to impersonate me.

0.00276694 BEE

Noch nicht benutzt
!LUV
!BBH

0.00276425 BEE

@vikisecrets, @bitandi(1/4) sent you LUV. | tools | discord | community | HiveWiki | <>< daily

Made with LUV by crrdlx

0.00000000 BEE

GPT-4o Voice Mode does sound futuristic, but your experience matches mine!
The sudden cutoffs mid-answer are so frustrating—like, let it finish, Microsoft! 😅

0.00276138 BEE

I have never tried it, I usually don't use Ai stuff

!PIZZA

0.00000000 BEE

PIZZA!

$PIZZA slices delivered:
@davideownzall(2/15) tipped @vikisecrets

0.00000000 BEE

What we were missing was an AI to direct our lives.

0.00000000 BEE