Op welke Gemini- en Google AI-functies wachten we?

Het afgelopen jaar heeft Google een voorbeeld gegeven van een aantal AI- en andere functies van het Gemini-merk in zijn consumentgerichte apps. Hier vindt u alles wat er is aangekondigd en wanneer het mogelijk beschikbaar is.

pixel

Eind 2023 werd Zoom Enhance aangekondigd, dat “op intelligente wijze de gaten tussen pixels opvult en fijne details voorspelt” voor de Pixel 8 Pro. Door gebruik te maken van een ‘aangepast generatief AI-beeldmodel’ op het apparaat, beschreef Google de functie als nuttig als je vergeet in te zoomen.

Het is een geweldige toepassing van generatieve AI, die een groot aantal mogelijkheden biedt voor het inlijsten en bewerken van uw foto’s. Dus het soort zoomoptimalisatie dat je gewend bent in sciencefiction – rechtstreeks in de telefoon in je hand.

In oktober zei Google dat dit ‘later zou komen’. Na drie keer dat de Pixel-functie is uitgebracht, zijn ze nog steeds niet gearriveerd. Het is niet duidelijk of het model waar Google naar verwijst de Gemini Nano met Multimodality is. Op dit moment zou het kunnen debuteren met de Pixel 9 Pro als de belangrijkste fotofunctie van die telefoon.

Google Huis

In de Google Home-app zal generatieve AI worden gebruikt om gebeurtenissen samen te vatten in een ‘vereenvoudigd beeld van wat er onlangs is gebeurd’. Deze “snelle en gemakkelijke samenvatting” maakt gebruik van opsommingstekens, terwijl u ook in gesprek “Vraag naar uw huis” kunt doen om fragmenten uit de videogeschiedenis te vinden en automatiseringen te verkrijgen. ‘Bètafuncties’ zullen in 2024 beschikbaar zijn voor Nest Aware-abonnees.

Fitbit

Met Fitbit Labs kunnen Fitbit Premium-gebruikers experimentele AI-mogelijkheden testen en feedback geven.

Een van deze functies is een chatbot waarmee je op een natuurlijke, gemoedelijke manier vragen kunt stellen over je Fitbit-gegevens. Deze ‘gepersonaliseerde coaching’ met fitnessdoelen in gedachten is bedoeld om ‘bruikbare berichten en begeleiding’ te genereren, met antwoorden die gepersonaliseerde blauwdrukken kunnen bevatten.

• “Je kunt bijvoorbeeld dieper ingaan op het aantal actieve zoneminuten (AZM’s) dat je krijgt en hoe deze zich verhouden tot hoe goed je herstelt uit de slaap.”
• “Dit model kan mogelijk verschillen in uw slaappatroon en slaapkwaliteit analyseren en vervolgens aanbevelingen doen over hoe u de trainingsintensiteit kunt veranderen op basis van die inzichten.”

Achter de schermen wordt dit ondersteund door een nieuwe LLM in Personal Health van Fitbit en Google Research gebouwd op Gemini. Vanaf maart komt het “later dit jaar” beschikbaar voor “een beperkt aantal Android-gebruikers die zijn ingeschreven voor het Fitbit Labs-programma in de mobiele Fitbit-app.”

Google Afbeeldingen

Met Ask Photos kunt u vragen stellen over foto’s en video’s in uw bibliotheek. Naast het vinden van afbeeldingen, kan het informatie extraheren en u een tekstantwoord geven. Mogelijk gemaakt door Gemini, voorbeelden van zoekopdrachten zijn ‘Laat me de beste foto zien van elk nationaal park dat je hebt bezocht’ en ‘Welke thema’s hebben we voor Lena’s verjaardagsfeestjes?’ Het kan worden gebruikt om “de beste foto’s voor te stellen” en er bijschriften voor te maken. Ask Photos is binnenkort een ‘bètafunctie’, waarbij Google in de toekomst al meer mogelijkheden plaagt.

Gmail + Google Werkruimte

In de Gmail-app voor Android en iOS vind je rechtsboven een Gemini-knop waarmee je het mobiele equivalent van een zijpaneel kunt openen om volledige instructies in te voeren. Gmail krijgt ook contextuele slimme antwoorden die meer gepersonaliseerde, gedetailleerde en nauwkeurige suggesties bieden. Deze functie wordt in juli uitgebracht in Workspace Labs.

Tijdens de Cloud Next 2024-conferentie in april toonde Google ook een stembegeleidingsfunctie voor de Help mij schrijven in de mobiele Gmail-app. Ondertussen zal de Instant Refine-functie “onbewerkte notities met één klik omzetten in een volledige e-mail.”

Op het desktopweb is het zijpaneel beschikbaar in Gmail, Google Drive en Docs/Sheets/Slide. Gemini komt dan naar Google Chat om gesprekken samen te vatten en vragen te beantwoorden.

Google Maps

Afgelopen februari kondigde Google aan dat Maps LLM’s zou gebruiken om zijn Ask About-chatbot aan te drijven. U kunt het gebruiken om plaatsen te vinden die overeenkomen met uw claim, met ondersteuning voor vervolgvragen. Het wordt mogelijk gemaakt door details over 250 miljoen door gebruikers ingediende plaatsen, foto’s, video’s en recensies.

Chroom

Gemini Nano wordt gestart in de Chrome-desktopbrowser om browserfuncties zoals Help Me Type te ondersteunen. Het zou beschikbaar moeten zijn op de meeste moderne laptops en desktops.

Google zoeken

Samen met de lancering van AI Overviews heeft Google een voorproefje gegeven van een aantal aankomende functies die voor het eerst naar Search Labs komen:

• U kunt het originele AI-overzicht nemen en het “eenvoudiger” maken (slechts een paar zinnen) of het “opsplitsen” (langere reactie).
• Dankzij de mogelijkheid om in meerdere stappen te redeneren, kunt u een complexe vraag in één stap stellen in plaats van deze in meerdere vragen op te splitsen.
• Plannen van maaltijden en uitstapjes
• Zoekresultatenpagina georganiseerd door kunstmatige intelligentie
• Videozoekopdrachten: neem een ​​video op en stel er een vraag over

Android

De multimedia-app Gemini Nano wordt “later dit jaar” gelanceerd op de Pixel en zal functies bieden zoals TalkBack-beschrijvingen op het apparaat/offline en realtime fraudewaarschuwingen die luisteren naar oproepen om onthullende patronen te ontdekken. Google zal later dit jaar meer details delen.

Op I/O 2024 liet Google ook een voorbeeld zien van hoe Gemini op Android binnenkort zal veranderen in een overlaypaneel in plaats van een gebruikersinterface op volledig scherm te openen om resultaten weer te geven. Naast het behouden van de context, kunt u hierdoor een gemaakte afbeelding naar een gesprek slepen en neerzetten. Voor Gemini Advanced-abonnees kunnen gebruikers video’s en korte documenten in Gemini bekijken via respectievelijk de knoppen “Vraag deze video” en “Vraag deze PDF”. Dit zal “in de komende maanden” worden uitgerold. Bovendien gebruikt u Dynamic Suggestions Gemini Nano met Multimodality om te begrijpen wat er op uw scherm wordt weergegeven:

Als je Gemini bijvoorbeeld betrekt in een gesprek over pickleball, kunnen suggesties zijn: ‘Vind pickleballclubs bij mij in de buurt’ en ‘Pickleball-regels voor beginners’.

Een andere add-on die vooral handig zal zijn op mobiel zijn Gemini-extensies voor Google Agenda, Taken en Keep. Hiermee kunt u een foto maken van een pagina met verschillende aankomende data die Gemini kan omzetten in agenda-evenementen. In de komende maanden zullen Utilities het mobiele Gemini-apparaat toegang geven tot de horloge-app op Android.

We wachten ook op de komst van de mobiele telefoon Gemini deze zomer op de Pixel Tablet.

tweeling

Met livestreaming kunt u een tweerichtingsgesprek voeren met een Gemini. Om de ervaring natuurlijker te maken, geeft Gemini korte antwoorden die u kunt onderbreken om nieuwe informatie toe te voegen of om opheldering te vragen. Je kunt kiezen uit 10 verschillende stemmen, waarbij Google zich voorstelt dat Gemini Live nuttig kan zijn voor het voorbereiden van interviews of het oefenen van speeches. Het zal in de “komende maanden” beschikbaar zijn voor Gemini Advanced-leden.

“Later dit jaar” laat Gemini Live je de live cameramodus inschakelen. Wijs eenvoudigweg naar iets in de echte wereld en stel er een vraag over. Dit wordt ondersteund door Project Astra.

Edelstenen zijn gepersonaliseerde versies van Gemini waarmee je een ‘gymmaatje, souschef, codeerpartner of creatieve schrijfgids’ kunt hebben. Gemini Advanced-leden kunnen aangepaste leden maken, terwijl alle gebruikers toegang hebben tot vooraf gemaakte edelstenen, zoals de Leercoach.

Beschrijf eenvoudig wat je wilt dat je core doet en hoe je wilt dat deze reageert – zoals “Jij bent mijn hardloopcoach, geef me een dagelijks hardloopplan en wees positief, vrolijk en gemotiveerd.” Gemini neemt deze instructies en verbetert ze met één klik om een ​​juweel te creëren dat aan uw specifieke behoeften voldoet.

Gemini Advanced-gebruikers krijgen ook een “uitgebreide planner” die verder gaat dan alleen het voorstellen van activiteiten, maar daadwerkelijk rekening houdt met reistijden en tussenstops, evenals met de interesses van mensen, om een ​​gedetailleerd reisplan te creëren. Gemini gebruikt uw Gmail-vlucht-/reisgegevens, Google Maps-aanbevelingen voor eten en musea in de buurt van uw hotel, en zoekt naar andere activiteiten.