Wanneer de gemeten samples gedigitaliseerd worden, wordt de spanningswaarde van ieder sample omgezet naar een getal. Dit wordt gedaan door de spanningswaarde met een aantal verschillende niveaus te vergelijken. Het resulterende getal is het nummer van het hoogste niveau dat nog lager is dan de spanningswaarde. Het aantal beschikbare niveaus wordt bepaald door de resolutie. Hoe hoger de resolutie, hoe meer verschillende niveaus beschikbaar zijn en hoe nauwkeuriger de spanningswaarde kan worden omgezet. In de onderstaande afbeelding wordt steeds hetzelfde signaal gedigitaliseerd, met drie keer een ander aantal niveaus: 16, 32 en 64.
Het aantal beschikbare niveaus wordt bepaald door de resolutie:
De gebruikte resoluties in de bovenstaande afbeelding zijn respectievelijk 4 bits, 5 bits en 6 bits.
De kleinste te meten spanning hangt af van het ingestelde ingangsbereik en de resolutie. Deze spanning kan als volgt worden berekend:
In het 200 mV bereik, loopt de volledige schaal van -200 mV tot +200 mV, het volledige bereik is dan 400 mV. Wanneer 12 bit resolutie wordt gebruikt, zijn er 212 = 4096 niveaus beschikbaar. Dit resulteert in een kleinst waarneembare spanning van 0.400 V / 4096 = 97.7 µV. Bij 16 bit resolutie is deze waarde 0.400 V / 65536 = 6.1 µV.
Verbeterde resolutie
Een instrument heeft een of meer oorspronkelijke resoluties, waar deze resoluties beschikbaar zijn in de Analog to Digital Converter (ADC). Hogere resoluties zullen in het algemeen een lagere maximale samplesnelheid hebben.
Daarnaast kunnen instrumenten ook een of meer verbeterde resoluties hebben. Dit zijn resoluties die niet beschikbaar zijn op de ADC, maar die worden gemaakt in het instrument met over-sampling-technieken. Als het gevolg van de over-sampling-techniek is de maximale sample-snelheid lager.
Resolutiemodus
Omdat de geselecteerde resolutie gevolgen kan hebben voor de maximale samplefrequentie, is een resolutiemodus beschikbaar, die de hoogst bruikbare resolutie van het instrument bepaalt, gebaseerd op de gekozen samplefrequentie. De resolutiemodus heeft de volgende mogelijkheden:
- Gefixeerd: de resolutie van de oscilloscoop is vast ingesteld en wordt niet veranderd door de software.
- Automatisch onverbeterde resoluties: de software verandert de resolutie van de oscilloscoop automatisch naar de hoogst beschikbare waarde voor de huidige samplefrequentie, alleen gebruik makend van de ADC's eigen resoluties en geen verbeterde resolutie(s) verkregen door oversampling.
- Automatisch alle resoluties: de software verandert de resolutie van de oscilloscoop automatisch naar de hoogst beschikbare waarde voor de huidige samplefrequentie, inclusief verbeterde resolutie(s) verkregen door oversampling.
Instellen van de resolutie
Veranderen van de resolutie van een instrument in de Multi Channel oscilloscoop-software kan op diverse manieren worden gedaan:
- Openen van het Instrumentinstellingen-dialoog, met de Instrumentinstellingen-dialoog-knop en in de dialoog de gewenste resolutie kiezen.
- Rechts-klikken op het instrument in het Objectscherm, Resolutie selecteren en vervolgens de gewenste waarde kiezen in het popupmenu.
- Met de verlaag/verhoog resolutie-knoppen en op de instrumentbalk.
- Klikken op de Resolutie-indicator op de instrumentbalk en vervolgens de gewenste waarde uit het menu kiezen.