Appendix C - Computer Familiarity Cog Lab Report

Appendix C

Cognitive Interview Reports
For
Computer Familiarity Study

AMERICAN
INSTITUTES FOR
RESEARCH

Computer/Technology Access and Familiarity Survey
Cognitive Testing of the Survey Items
Summary of Implementation
Carmen Martínez and Fran Stancavage
A Project of the NAEP Validity Studies (NVS) Panel
July 17, 2014
INTRODUCTION
The National Center for Education Statistics (NCES) and the National Assessment
Governing Board (NAGB) have announced that the National Assessment of Educational
Progress (NAEP) will be a fully technology-based assessment by 2017. In order to track
the extent to which students in different subgroups are ready to participate in technologybased assessments, the NAEP Validity Studies (NVS) Panel is conducting a special study
that will develop survey-based measures of computer/technology access and familiarity.
The survey items that will form the basis for these measures will be administered to a
special study sample as part of the 2015 NAEP administration.1
To inform the development of the draft survey items, NVS project staff conducted nine
cognitive interviews with five fourth grade students and four eighth graders. This report
summarizes the methodology of the cognitive testing of the draft survey items. The
revisions to items made on the basis of the cognitive testing, as well as a concurrent
review by members of NCES’ Principals’ Panel, are documented in the appendix. Dr.
Bohrnstedt, the study Principal Investigator, led effort to revise the items.

RECRUITMENT
Recruitment for the cognitive interviews was conducted by a recruitment firm (Elliott
Benson Research) in the Sacramento, CA area. Recruiters used a screening protocol to
enlist a diverse sample of respondents. These protocols were created by NVS staff and
approved by the American Institutes for Research (AIR) Institutional Review Board
(IRB).

1 Because the intention of the NVS study is to create cross‐grade measures of access and familiarity, 

all of the items developed for the study are designed to be used across grades 4, 8, and 12. The 
sample of items included in the cognitive testing, and intended for the 2015 administration, also 
contains additional grade 8/12 items developed by ETS and intended for a broader NAEP survey 
module on technology. 

1

NAEP Validity Studies

Participation inclusion criteria were established to ensure that the participants would be
balanced by gender, and would over-represent categories of respondents most likely to
experience problems reading and interpreting survey items. Therefore, the recruiting firm
was instructed to choose participants with the following characteristics:


At least half of the sample at each grade level should meet at least one of the following
criteria: be non-white, come from a home in which English is not the dominant language,
and/or be of low socioeconomic status, as evidenced by eligibility for the free or reduced
lunch program.



Participants should be evenly distributed by gender



Participants must be starting the 5th or 9th grade in the fall 2014.

PARTICIPANTS
A total of nine participants were recruited; five students who had just completed fourth
grade and four who had just completed eighth grade. Table 1 provides information about
the demographics of the nine cognitive testing participants.
All of the participants lived in the Sacramento area and all the cognitive interviews were
conducted in downtown Sacramento. Eight of the participants were students at public
schools and one fourth grader was a student at a charter school. The average age of the
fourth grade participants was 10 years (range: 9-11) and the average age of the eighth
grade students was 14 years (range: 13-14). There was a balanced representation of
gender at both grade levels. One fourth grade participant was from a home where both
English and Spanish was spoken. The remaining participants were from homes where the
main language spoken was English (44%) or Spanish (44%). About half of the
participants (56%) were eligible for free or reduced price lunch.

2

NAEP Validity Studies

Table 1. Participant Characteristics
Type of school
Private
Public
Charter
Gender
Female
Male
Main language spoken at home
English
Spanish
English and Spanish
Race/Ethnicity
American Indian/Alaska Native
African American/Black
Asian/Pacific Islander
Hispanic or Latino
White
Asian and White
Eligible for free or reduced-price lunch

Fourth Grade

Eighth Grade

TOTAL

0
4
1

0
4
0

0
8
1

2
3

2
2

4
5

2
2
1

2
2
0

4
4
1

0
0
0
4
0
1
2

1
0
0
2
1
0
3

1
0
0
6
1
1
5

PROCEDURES
The cognitive interviews were held from June 24 to July 7, 2014. Each cognitive interview lasted
approximately 90 minutes and students received a $100 gift card for their participation. All
cognitive interviews were audio-recorded.
Parental Consent. Parental consent was obtained before each interview. The consent form
outlined the purpose of and procedures involved in the research, risks and benefits, issues related
to confidentiality, whom to contact with questions and concerns, and the voluntary nature of
participation. The form also gave permission to audio-record the interview.
Survey and Protocol. A trained cognitive interviewer administered the draft survey and
conducted each interview using a protocol that included structured probes to check for
understanding. The cognitive interview protocol was developed by NVS staff. All materials were
approved by AIR’s IRB. Two versions of the survey with alternative item orderings were tested at
each grade level to ensure that data would be obtained for all of the survey items.
Cognitive Interview Sessions. An interviewer sat with the participant throughout the duration of
the session. Using the protocol as a guide, the interviewer introduced the participant to the survey
and testing procedures, guided them through the cognitive interview process, and queried them
about individual survey items. After being provided with a summary of participant rights and
completing the assent form, participants were oriented to aspects of their surroundings that were
outlined in the assent form (e.g., audio-recording equipment), as well as key features of the

3

NAEP Validity Studies

interview process. In particular, participants were told that they would be asked to complete a
survey and to “think aloud” while doing so. That is, participants were told that they should
verbalize their thoughts as they read and answered each individual item. Next, the interviewer
conducted an exercise to train participants in thinking out loud, by first modeling this behavior
and then asking them to complete a practice task. After confirming that the participant was able to
effectively think out loud, the interviewer introduced pictures of a desktop computer, a laptop
computer, a smartphone, and a tablet computer in order to familiarize participants with the
electronic devices mentioned in the survey items. Finally, participants read and answered each
survey question while thinking aloud. Interviewers queried participants during this process using
both scripted and unscripted concurrent probes.
The interviewer took notes during the interview session. In addition, the interviews were audiorecorded and these recordings were used for reference to supplement and refine the notes taken in
real time.

ANALYSIS OF FINDINGS
After each cognitive interview was completed, the open-ended interview responses were
compiled into an Excel file organized by survey question. Information on the extent to which the
script for presenting pictures of devices was successful in orienting students to the types of
devices they would encounter in the survey was also summarized. Finally, the survey findings
were examined by the study principal investigator in conjunction with findings from a concurrent
review by NCES’ Principals’ Panel, and all revisions to the survey items and administration script
were entered into an Excel file along with rationales for the revisions. This Excel file is included
as an appendix to this report.

4

Item

Original Grade 4  Original Grade  Original question
item number 8/12 item number

Administration 
directions

Revised question

Rationale

Now you are going to answer some questions about
computers and similar devices. Before we start, I am
going to show you pictures of each of these devices so
that you will know exactly what the questions are about.

Now you are going to answer some questions about
computers and similar devices. Before we start, I am
going to show you examples of each of these devices so
that you will know exactly what the questions are about.

Many students had difficulty generalizing from the device 
pictures, especially generalizing to Apple products (iPhone 
and iPad). New directions are intended to convey that there 
are a range of devices with similar functionality.

Show picture of desktop computer. Say: This is a
desktop computer.

Show picture of desktop computer. Say: This is an
example of a desktop computer.

Show picture of laptop computer. Say: This is a laptop
computer.

Show picture of laptop computer. Say: This is an
example of a laptop computer.

Show picture of smartphone. Say: This is a smartphone. Show picture of smartphone. Say: This is an example of
a smartphone. A smartphone is any phone that is able to
connect to the Internet. Besides making phone calls and
taking pictures, smartphones allow you to do many of
the same things as a desktop or laptop computer.

Global change

VH155319

1

Show picture of tablet computer. Say: This is a tablet
computer.

Show picture of tablet. Say: This is an example of a
tablet. A tablet is bigger than a smartphone. It allows
you to do many of the same things as a smartphone, but
it doesn’t make phone calls. If you use a tablet at
school, you might also do some things that you probably
wouldn’t do with a smartphone. For example, you might
read books or practice math problems.

"tablet computer"

"tablet"

Students uniformly reported that this is what they would call 
the pictured device.

How much do you know about using computers?

Some grade 8 cog lab subjects, as well as students in a focus 
group lead by one of the principals, were unsure how to 
interpret "know about computers." Some thought it meant 
knowledge of how computers function, and therefore rated 
themselves low, while our intent was only to determine how 
knowledgable they felt about using computers. Also 
eliminated reponse option B because two of the principals 
pointed out that there was a lack of distinction among the 
first three response options
No change

1 How much do you know about computers?
A I hardly know anything at all
B I know a little bit
C I know something
D I know quite a bit
E I know a lot

VH166527

2

At home, do you have a laptop or desktop computer that is 
only for your use?

A I hardly know anything at all.
B I know something.
C I know quite a bit.
D I know a lot.

A Yes
B No

5

VH166529

3

At home, do you have a laptop or desktop computer that you  At home, is there a laptop or desktop computer that is 
share with others?
shared between you and others?
A Yes
B No

Gade 4 students interpreted this as personally having a 
device that they were willing to share with others. 

A Yes
B No

VH166524

4

At home, do you have a tablet computer that is only for your  At home, do you have a tablet that is only for your use?
use?
A Yes
A Yes
B No
B No

Reflects global change.

VH166526

5

At home, do you have a tablet computer that you share with  At home, is there a tablet that is shared between you and 
others?
others?

See  rationale for Grade 4, Q 3. Also reflects global change.

A Yes
B No

VH166530

6

At home, do you have Wi‐Fi or some other Internet 
connection you can use?

A Yes
B No

No change

A Yes
B No

VH166531

7

7 At home, do you have a smartphone that is only for your 
use?

No change

A Yes
B No

VH155275

VH155283

2 At home, do you have any of the following? Fill in one oval 
on each line.
Yes
No
2a a. A laptop or desktop computer that is only
for your use

No change

No change

A
B

6

VH155284

2b b. A laptop or desktop computer that you
share with others
A
B

VH155280

VH155281

c. A tablet that is only for your use

Reflects global change.

A
B
2d d. A tablet computer that you share with
others

A
B
d. A tablet that is shared between you and others

See  rationale for Grade 4, Q 3. Also reflects global change.

A
B
2f f. A smartphone that is only for your use

VH155287

VH155330

8

VH155332

9

VH155323

10

A
B

2c c. A tablet computer that is only for your use

A
B
2e e. Wi‐Fi or some other Internet connection
you can use

VH155285

b. A laptop or desktop computer that is shared  between you  See  rationale for Grade 4, Q 3. 
and others

A
B
No change

No change

A
B
3 When you are at school, about how many hours a day do you  On a weekday, about how many hours do you use a laptop or  Students had several problems with this series of questions 
use a laptop or desktop computer for doing schoolwork?
desktop computer for doing schoolwork, including 
about time spent in school and "when you are not in school." 
homework?
They tended to miss the restriction to "at school" in the first 
A None
question, to interpret "not at school" as meaning periods of 
B Less than an hour
A None
time when school is not in session (e.g., spring break), and 
C About an hour
B Less than an hour
they sometimes estimated hours per week rather than hours 
D 2 to 3 hours
C About an hour
per day. They also were somewhat uncertain about the 
E 3 to 4 hours
D 2 to 3 hours
distinction between "school work" and "homework." 
F More than 4 hours
E 3 to 4 hours
Consequently, we have removed the distinction between 
F More than 4 hours
school and non‐school time spent, asked for hours in one day 
4 When you are at school, about how many hours a day do you  On a weekday, about how many hours do you use a tablet 
See rationale for Grade 4, item 8/Grade 8, item 4. Also 
use a tablet computer for doing  schoolwork?
for doing  schoolwork, including homework?
reflects global change.
A None
A None
B Less than an hour
B Less than an hour
C About an hour
C About an hour
D 2 to 3 hours
D 2 to 3 hours
E 3 to 4 hours
E 3 to 4 hours
F More than 4 hours
F More than 4 hours
See rationale for Grade 4, item 8/Grade 8, item 4
5 During the week, when you are not at school, about how 
DELETED
many hours a day do you use a laptop or desktop computer 
for doing homework?
A None
B Less than an hour
C About an hour
D 2 to 3 hours
E 3 to 4 hours
F More than 4 hours

7

VH155326

VH156034

VH156037

VH156042

VH155872

VH155875

11

6 During the week, when you are not at school, about how 
many hours a day do you use a tablet computer for doing 
homework?

12

A None
B Less than an hour
C About an hour
D 2 to 3 hours
E 3 to 4 hours
F More than 4 hours
When did you first use a laptop or desktop computer?

13

A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth grade
When did you first use a tablet computer?

14

DELETED

See rationale for Grade 4, item 8/Grade 8, item 4

No change to text of item, but this series of questions moved  Some students appeared to be responding with when they 
to follow Grade 4, item 7
first used a laptop or desktop computer for school. Move 
places the items ahead of the questions about school use and 
should broaden their context. 

When did you first use a tablet?

Reflects global change. Also see rationale for Grade 4, item 
12

A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth grade

A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth grade

When did you first use a smartphone?

This series of items moved to follow Grade 4, item 7
No change to text of item, but this series of questions moved  See rationale for Grade 4, item 12
to follow Grade 4, item 7

A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth grade
7  When did you first use a laptop or desktop computer?
(grade 8 only)
A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth or fifth grade
F When I was in sixth, seventh, or eighth grade
8  When did you first use a tablet computer?
(grade 8 only)
A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth or fifth grade
F When I was in sixth, seventh, or eighth grade

No change to text of item, but this series of questions moved  See rationale for Grade 4, item 12
to follow Grade 8 item 2 

When did you first use a tablet?

Reflects global change. Also see rationale for Grade 4, item 
12

A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth or fifth grade
F When I was in sixth, seventh, or eighth grade 
This series of items moved to follow Grade 8, item 2

8

VH155882

9  When did you first use a smartphone?
(Grade 8 only)
A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth or fifth grade 
F When I was in sixth, seventh, or eighth grade
7  When did you first use a laptop or desktop computer?
(grade 12 only)
A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth or fifth grade
F When I was in sixth, seventh, or eighth grade 
G When I was in high school
8  When did you first use a tablet computer?
(grade 12 only)
A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth or fifth grade
F When I was in sixth, seventh, or eighth grade 
G When I was in high school

VH155339

VH155345

VH155351

VH176734

VH176739

VH176741

VH176742

15

16

17

18

No change to text of item, but this series of questions moved  See rationale for Grade 4, item 12
to follow Grade 8, item 2

No change to text of item, but this series of questions moved  See rationale for Grade 4, item 12
to follow Grade 12 item 2 

When did you first use a tablet?

Reflects global change. Also see rationale for Grade 4, item 
12

A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth or fifth grade
F When I was in sixth, seventh, or eighth grade 
G When I was in high school

This series of items moved to follow Grade 12, item 2
9  When did you first use a smartphone?
No change to text of item, but this series of questions moved  See rationale for Grade 4, item 12
(Grade 12 only)
to follow Grade 8, item 2
A I have never used one.
B Before I was in kindergarten
C When I was in kindergarten
D When I was in first, second, or third grade
E When I was in fourth or fifth grade 
F When I was in sixth, seventh, or eighth grade G When I was 
in high school
At school, were you taught how to type on a computer 
No change
keyboard using the correct fingers?
A Yes
B No
At school, were you taught how to write sentences and 
paragraphs using a computer?
A Yes
B No
At school, were you taught how to edit and format text using  At school, were you taught how to edit text using a 
a computer?
computer?
A Yes
A Yes
B No
B No
At school, were you taught how to search for information on 
the Internet?

No change

Students at both grade levels misinterpreted the meaning of 
"format text." They thought it meant giving a story or essay 
the correct structure (e.g., having topic sentences in 
paragraphs).
No change

A Yes
B No

9

VH176745

VH176748

VH176750

VH155373

VH155375

VH155376

VH176918

VH155377

19

20

21

At school, were you taught how to use a tablet computer?

At school, were you taught how to use a tablet?

A Yes
B No

A Yes
B No

At school, were you taught how to draw a picture using a 
computer?

No change

A Yes
B No
At school, were you taught how to look up the meaning of a 
word using a computer?

No change

A Yes
B No
10 Were you taught any of the following at school? Fill in one 
oval on each line.

No change

Yes
No
10a a. How to type on a computer keyboard using
the correct fingers

No change

A
B
10b b. How to write sentences and paragraphs
using a computer
A
B
10c c. How to edit and format text using a
computer
A
B
10d d. How to search for information on the
Internet

VH155378

A
B
10e e. How to use a tablet computer

VH155379

A
B
10f f. How to draw a picture using a computer

VH155380

A
B
10g g. How to look up the meaning of a word using a computer

Reflects global change

No change

c. How to edit text using a computer

See rationale for Grade 4, item 17

A
B
No change

e. How to use a tablet 

Reflects global change

A
B
No change

No change

A
B
VH155381

10h h. How to create a spreadsheet using a computer

No change

A
B

10

VH155382

10i i. How to create a presentation using digital media (for 
example, books, music, pictures, videos)

VH155384

A
B
10j j. How to run simulations using a computer

VH155385

A
B
10k k. How to write a computer program
A
B
10l l. How to create a graph or chart using a
computer

VH155386

i. How to create a presentation using a computer
A
B

Some students didn’t know what "digital media" meant. In 
addition the new wording is more consistent with the 
wording of other similar items.

No change

k. How to write a computer program or app

Some students didn't know what a computer program was. 
"App" may be a more familiar term.

A
B
No change

VH155387

A
B
10m m. How to maintain a website or blog

No change

VH155388

A
B
10n n. How to install new software or apps

No change

A
B
New item

VH176753

VH176757

VH176759

VH176769

22

23

24

25

o. How to troubleshoot problems with a computer 

At school, are there laptop or desktop computers that 
students can share?

A
B
At school, are there laptop or desktop computers that you 
can use for schoolwork?

A Yes
B No

A Yes
B No

At school, do you have a laptop or desktop computer that is  DELETED
only for your use?
(This could be a computer that you bring from home or one 
that is assigned to you by your school.)
A Yes
B No
At school, are there tablet computers that students can 
share?
A Yes
B No
At school, do you have a tablet computer that is only for 
your use? (This could be a tablet computer that you bring 
from home or one that is assigned to you by your school.)

This item picks up an important skill that was missing from 
the previous set.

Students did not understand a computer  as being "only for 
their own use" if they had to turn it in at the end of the class 
period. Therefore we have simplified this series of questions 
to eliminate the distinction between sharing and not sharing. 
But we have also added two new quesions about computers 
assigned to the student on a permanent basis. Finally, some 
students didn't know whether to count something (like 
See rationale for Grade 4, item 22.

At school, are there tablets computers that you can use for 
schoolwork?

See rationale for Grade 4, item 22. Also reflects global 
change.

A Yes
B No
DELETED

See rationale for Grade 4, item 22.

A Yes
B No

11

VH182302

VH176772

26

27

At school, is there Wi‐Fi or some other Internet connection 
you can use?

At school, is there Wi‐Fi or some other Internet connection 
that you can use for schoolwork?

A Yes
A Yes
B No
B No
Does your teacher use a computer when teaching your class?

See rationale for Grade 4, item 22.

No change

A Yes
B No
VH176773

VH155477

VH155479

VH155480

VH155482

VH155483

28

Does your teacher require you to use computers in the 
classroom?

No change

A Yes
B No
11 Which of the following are true about the ways in which you 
and your teachers use computers at
school? Fill in one oval on each line.
Yes
No
11a a. In most of my classes there are laptop or desktop 
computers that students can share.

No change

a. In most of my classes there are laptop or desktop 
computers that I can use for school work.

A
A
B
B
11b b. In most of my classes I have a laptop or desktop computer  DELETED
that is only for my use. (This could be a computer that you 
bring from home or one that is assigned to you by your 
school.)
A
B
11c c. In most of my classes there are tablet computers that 
students can share.

c. In most of my classes there are tablets that I can use for 
schoolwork.

A
A
B
B
11d d. In most of my classes I have a tablet computer that is only  DELETED
for my use. (This could be a tablet computer that you bring 
from home or one that is assigned to you
by your school.)

See rationale for Grade 4, item 22.

See rationale for Grade 4, item 22.

See rationale for Grade 4, item 22. Also reflects global 
change.

See rationale for Grade 4, item 22.

A
B
VH182383

VH155484

11e e. There is Wi‐Fi or some other Internet
connection I can use.

e. There is Wi‐Fi or some other Internet
connection that I can use for schoolwork.

A
B
11f f. Most of my teachers use computers when
teaching my classes.

A
B

See rationale for Grade 4, item 22.

No change

A
B

12

VH155485

11g g. Most of my teachers require us to use
computers in the classroom.

No change

A
B
New item

New item

New item

Has your school assigned you a laptop or desktop computer  See rationale for Grade 4, item 22.
that only you can use?
 A No 
B Yes, but I cannot take it home with me 
C Yes, and I can take it home with me
Has your school assigned you a tablet that only you can use? See rationale for Grade 4, item 22.

New item

 A No 
B Yes, but I cannot take it home with me 
C Yes, and I can take it home with me
VH156075

VH156078

VH156081

VH156082

29

30

31

32

This school year, how often have you used a laptop or 
desktop computer to write a short paper (less than a page) 
for school?

This school year, how often have you used a laptop or 
desktop computer to write a short paper (less than a page) 
for school?

A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day
This school year, how often have you used a laptop or 
desktop computer to write a paper that was longer than a 
page for school?

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week
This school year, how often have you used a laptop or 
desktop computer to write a paper for school that was 
longer than a page?

A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day
This school year, how often have you used a laptop or 
desktop computer to search the Internet for a school 
project?

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week
This school year, how often have you used a laptop or 
desktop computer to search the Internet for a school 
project?

A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day
This school year, how often have you used a laptop or 
desktop computer to help you learn things in mathematics 
that you were having trouble with?

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week
This school year, how often have you used a laptop or 
The original question was not picking up remedial practice, as 
desktop computer to practice things in mathematics that you  had been our intention. Rather, students were reporting 
were having trouble learning?
querying Google or going to math websites to get 
explanations, etc. With regard to the changes to response 
A Never
options, see rationale for Grade 4, item 29.
B A few times
C Once every few weeks
D About once a week
E More than once a week

A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day

Results from the recently completed analysis of computer‐
related survey items in the TEL assessment indicated that the 
standard NAEP response options on frequency of use show a 
curvalinear relationship to achievement, with "everyday or 
almost everyday" chosen disproportionately by second 
language learners and students eligible for FRPL. This appears 
related to the fact that "everyday or almost everyday" is an 
implausible option for many of the types of activities 
surveyed. 
One of the principals pointed out that the revised wording of 
the stem would be more grammatical. With regard to the 
changes to response options, see rationale for Grade 4, item 
29.

See rationale for Grade 4, item 29.

13

VH176775

VH177580

33

34

VH155495

This school year, how often have you used a laptop or 
desktop computer to help you learn things in reading that 
you were having trouble with?

This school year, how often have you used a laptop or 
See rationales for Grade 4, item 32 and Grade 4, item 29.
desktop computer to practice things in reading that you were 
having trouble learning?

A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day
This school year, how often have you used a laptop or 
desktop computer to take a test?

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week
This school year, how often have you used a laptop or 
desktop computer to take a test?

A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day
12 This school year, how often have you used a laptop or 
desktop computer to do each of the
following? Fill in one oval on each line.

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week
This school year, how often have you used a laptop or 
desktop computer to do each of the
following? Fill in one oval on each line.

Never
A few times
Once every few weeks
1‐3 times a week
Every day or almost every day
12a a. Write a short paper (less than a page) for
school

VH155496

ABCDE
12b b. Write a paper that was longer than a page for
school

VH155497

See rationale for Grade 4, item 29.

See rationale for Grade 4, item 29.

Never
A few times
Once every few weeks
About once a week
More than once a week
No change

b. Write a paper for school that was longer than a page

See rationale for Grade 4, item 30.

ABCDE
ABCDE
12c c. Search the Internet for a school project

VH155498

No change

VH176943

ABCDE
12d d. Help you learn things in mathematics that you were having  d. Practice things in mathematics that you were having 
trouble with
trouble learning

See rationale for Grade 4, item 32.

VH176945

ABCDE
12e e. Help you learn things in reading that you
were having trouble with

ABCDE
e. Practice things in reading that you
were having trouble learning

See rationale for Grade 4, item 32.

ABCDE
12f f. Take a test

ABCDE

VH176946

VH156083

35

No change

ABCDE
This school year, how often have you used a tablet computer  This school year, how often have you used a tablet to write a  See rationale  for Grade 4, item 29. Also reflects global 
to write a short paper (less than a page) for school?
short paper (less than a page) for school?
change
A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week

14

VH156086

36

This school year, how often have you used a tablet computer  This school year, how often have you used a tablet to write a  See rationales for Grade 4, item 30 and Grade 4, item 29. 
to write a paper that was longer than a page for school?
paper for school that was longer than a page?
Also reflects global change.
A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day

VH156087

VH156092

VH176785

VH177588

VH155524

VH155525

37

38

39

40

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week

This school year, how often have you used a tablet computer  This school year, how often have you used a tablet to search  See rationale  for Grade 4, item 29. Also reflects global 
to search the Internet for a school project?
the Internet for a school project?
change
A Never
A Never
B A few times
B A few times
C Once every few weeks
C Once every few weeks
D 1‐3 times a week
D About once a week
E Every day or almost every day
E More than once a week
This school year, how often have you used a tablet computer  This school year, how often have you used a tablet to 
See rationales for Grade 4, item 32 and Grade 4, item 29. 
to help you learn things in mathematics that you were having  practice things in mathematics that you were having trouble  Also reflects global change.
trouble with?
learning?
A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day
This school year, how often have you used a tablet computer 
to help you learn things in reading that you were having 
trouble with?

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week
This school year, how often have you used a tablet to 
practice things in reading that you were having trouble 
learning?

See rationales for Grade 4, item 32 and Grade 4, item 29. 
Also reflects global change.

A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day
23 This school year, how often have you used a tablet computer 
to take a test?

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week
This school year, how often have you used a tablet to take a  See rationale  for Grade 4, item 29. Also reflects global 
test?
change

A Never
B A few times
C Once every few weeks
D 1‐3 times a week
E Every day or almost every day
13 This school year, how often have you used a tablet computer 
to do each of the following? Fill in
one oval on each line.

A Never
B A few times
C Once every few weeks
D About once a week
E More than once a week
This school year, how often have you used a tablet to do 
each of the following? Fill in one oval on each line.

Never
A few times
Once every few weeks
1‐3 times a week
Every day or almost every day
13a a. Write a short paper (less than a page) for
school 

See rationale  for Grade 4, item 29. Also reflects global 
change

Never
A few times
Once every few weeks
About once a week
More than once a week
No change

ABCDE

15

VH155528

13b b. Write a paper that was longer than a page for school

b. Write a paper for school that was longer than a page 

ABCDE
13c c. Search the Internet for a school project

ABCDE

VH155527

No change

VH176938

ABCDE
13d d. Help you learn things in mathematics that
you were having trouble with

d. Practice things in mathematics thatyou were having 
trouble learning

VH176925

ABCDE
13e e. Help you learn things in reading that you were having 
trouble with

ABCDE
e. Practice things in reading that you were having trouble 
learning

ABCDE
13f f. Take a test

ABCDE

VH176927

VH155541

41

ABCDE
14 Which best describes the way you type on a computer 
keyboard?
A I don’t know how to type using a computer keyboard.
B I can type with one or two fingers but I have to search for 
where the letter keys are.
C I can type with one or two fingers and I know where most 
of the letter keys are.
D I can type with all ten fingers when I look at the keyboard.
E I can type with all ten fingers without looking at the 
keyboard.

VH155884

42

15 Compared to other students in your English/language arts 
class, how fast do you type on a computer keyboard?
A I am among the slowest.
B I am slower than most students.
C I type about the same speed as others.
D I am faster than most students.
E I am among the fastest.
F I don’t know.

VH176951

VH155750

VH155751

43

Never heard of it
Heard of it once or twice
Heard of it a few times
Heard of it often
Know it well, understand the concept
17a a. E‐reader

See rationale for Grade 4, item 32.

See rationale for Grade 4, item 32.

No change

Which best describes the way you type on a computer 
keyboard?

Fixed punctuation

A I don’t know how to type using a computer keyboard.
B I can type with one or two fingers, but I have to search for 
where the letter keys are.
C I can type with one or two fingers and I know where most 
of the letter keys are.
D I can type with all ten fingers when I look at the keyboard.
E I can type with all ten fingers without looking at the 
keyboard.

Compared to other students in your English/language arts 
class, how fast do you type on a computer keyboard?

At the suggestion of principals, reduced the number of 
options.

A I am slower than most students.
B I type about the same speed as others.
C I am faster than most students.
D I don’t know.

16 Would you rather take a test at school using paper and pencil 
or using a computer?
A Paper and pencil
B Computer
17 How familiar are you with each of the following? Fill in one 
oval on each line.

See rationale for Grade 4, item 30.

No change

How familiar are you with each of the following? Fill in one 
oval on each line.

Principals noted that "heard of it once or twice" and "heard 
of it a few times" were not well differentiated.

Never heard of it
Heard of it once or twice
Heard of it often
Know it well, understand the concept
No change

ABCDE

16

VH155752

17b b. Wifi

No change

VH155753

ABCDE
17c c. Firewall

No change

ABCDE

VH155754

17d d. Axon router

VH155756

17e e. Hyperlink

One student answered on the basis of his knowledge of 
routers, noting in his comments that he didn't know what an 
"Axon router" was, but assumed it was a type of router. 
Therefore, the item does not seem to be functioning 
No change

VH155757

ABCDE
17f f. Neuro‐digital computing

No change

VH155758

ABCDE
17g g. Instant Messenger

No change

VH155759

ABCDE
17h h. Central processing unit

No change

VH155760

ABCDE
17i i. Track changes 

No change

VH155761

ABCDE
17j j. Cut and paste 

No change

VH155762

ABCDE
17k k. Pyramidal browser 

No change

VH155763

ABCDE
17l l. Pivot table 

No change

ABCDE

DELETED

VH155765

ABCDE
17m m. Spreadsheet 

No change

VH155766

ABCDE
17n n. Limbic wire 

No change

VH155767

ABCDE
17o o. Spinalbyte 

No change

VH155768

ABCDE
17p p. Cloud computing 

No change

VH155769

ABCDE
17q q. Server

No change

VH155770

ABCDE
17r r. Root directory

No change

VH155771

ABCDE
17s s. Compiler

No change

ABCDE

17

VH155772

17t t. ASCII

No change

VH155779

ABCDE
17u u. Callosum board

No change

VH176789

VH176787

VH176790

VH176792

VH176793

VH155799

VH176967

44

45

46

47

48

ABCDE
Do you think you would be able to write sentences and 
paragraphs using a computer?

Do you think you would be able to write sentences and 
paragraphs using a computer?

A I definitely can’t
B I probably can’t
C Maybe
D I probably can
E I definitely can
Do you think you would be able to edit and format text using 
a computer?

A I definitely can’t.
B I probably can’t.
C I probably can.
D I definitely can.

A I definitely can’t
B I probably can’t
C Maybe
D I probably can
E I definitely can
Do you think you would be able to use a touchscreen on a 
computer, tablet computer, or smartphone?

A I definitely can’t.
B I probably can’t.
C I probably can.
D I definitely can.

A I definitely can’t
B I probably can’t
C Maybe
D I probably can
E I definitely can
Do you think you would be able to look up  a word in a 
dictionary using a computer?

A I definitely can’t.
B I probably can’t.
C I probably can.
D I definitely can.

A I definitely can’t
B I probably can’t
C Maybe
D I probably can
E I definitely can
Do you think you would be able to draw a picture using a 
computer?
A I definitely can’t
B I probably can’t
C Maybe
D I probably can
E I definitely can
18 18. Do you think you would be able to do each of the 
following? Fill in one oval on each line.
I definitely  can’t
I probably can’t
Maybe
I probably can
I definitely can
18a a. Write sentences and paragraphs using a computer 

Do you think you would be able to edit text using a 
computer?

Do you think you would be able to use a touchscreen on a 
computer, tablet, or smartphone?

Removed "maybe" option at suggestion of principal. Forces 
choice to negative or positive. Also corrected punctuation.

See rationale for Grade 4, item 44. Also corrected 
puctuation.

See rationale for Grade 4, item 44. Also reflects global 
change and correction to puctuation.

Do you think you would be able to look up the meaning of a  See rationale for Grade 4, item 44. Also changed stem to 
word using a computer?
parallel Grade 4, item 21. Also corrected punctuation.
A I definitely can’t.
B I probably can’t.
C I probably can.
D I definitely can.
Do you think you would be able to draw a picture using a 
computer?

See rationale for Grade 4, item 44. Also corrected 
puctuation.

A I definitely can’t.
B I probably can’t.
C I probably can.
D I definitely can.
18. Do you think you would be able to do each of the 
following? Fill in one oval on each line.

See rationale for Grade 4, item 44.

I definitely  can’t
I probably can’t
I probably can
I definitely can
No change

ABCDE

18

VH155803

18b b. Edit and format text using a computer

b. Edit text using a computer

See rational for Grade 4, item 17.

VH176970

ABCDE
18c c. Use a touchscreen on a computer, tablet computer, or 
smartphone

ABCD
c. Use a touchscreen on a computer, tablet, or smartphone

Reflects global change.

ABCD
VH155810

ABCDE
18d d. Look up a word in a dictionary using a computer

VH155811

ABCDE
18e e. Draw a picture using a computer

VH155800

ABCDE
18f f. View or download digital media

VH155820

ABCDE
18g g. Create a presentation using digital media

VH155802

ABCDE
18h h. Create a spreadsheet using a computer

VH155804

ABCDE
18i i. Install new software or apps

VH155805

d. Look up the meaning of a word using a computer

Changed to parallel Grade 8, item 10g.

ABCD
No change

No change

g. Create a presentation using a computer

See rationale for Grade 8, item 10i.

ABCD
No change

No change

ABCDE
18j j. Participate in online discussions, forums, social networking 
sites, or virtual communities

No change

VH155806

ABCDE
18k k. Maintain a Website or blog

No change

VH155807

ABCDE
18l l. Search for information on the Internet

No change

VH155809

ABCDE
18m m. Run simulations using a computer 
ABCDE
18n n. Create a graph or chart using a computer

VH155812

ABCDE
18o o. Write a computer program 

VH155808

ABCDE
New item

No change
No change

o. Write a computer program or app
ABCD
p. Troubleshoot a problem with a computer

See rationale for Grade 8, item 10k.

This item picks up an important skill that was missing from 
the previous set.

ABCD
VH155876

VH155957

19 On a scale from 0‐10 where zero is not at all familiar and 10 
is very familiar, how familiar with computers and digital 
technology are you?

A 0, B 1, C 2, D 3, E 4, F 5, G 6, H 7, I 8, J 9, K 10
Please read the descriptions of the following four eighth 
grade students. After you read each
description you will be asked to answer a question about 
each student based on the information
provided.

No change

No change

19

VH155958

20 Linda often uses apps to talk to her friends or to play games. 
She does some of her homework on her laptop and knows 
how to write and create tables using a computer. Linda 
cannot type with 10 fingers but is pretty fast with two fingers 
and mostly finds the right keys.
On a scale from 0‐10 where zero is not at all familiar and 10 
is very familiar, how familiar with computers and digital 
technology do you think Linda is?

No change

A 0, B 1, C 2, D 3, E 4, F 5, G 6, H 7, I 8, J 9, K 10
VH155961

21 Tom often uses apps to talk to his friends or to play games. 
He does most of his homework on a computer and knows 
how to write and format papers on a
computer and how to create complex tables or charts. He 
also created a few presentations using a computer. Tom can 
type pretty accurately using ten fingers when looking at the 
computer keyboard.

Tom often uses apps to talk to his friends or to play games.  Change "formatting" to "editing." See rational for Grade 4, 
He does most of his homework on a computer and knows 
item 17.
how to write and edit papers on a
computer and how to create complex tables or charts. He 
also created a few presentations using a computer. Tom can 
type pretty accurately using ten fingers when looking at the 
computer keyboard.

On a scale from 0‐10 where zero is not at all familiar and 10  On a scale from 0‐10 where zero is not at all familiar and 10 
is very familiar, how familiar with computers and digital 
is very familiar, how familiar with computers and digital 
technology do you think Tom is?
technology do you think Tom is?

VH155961

A 0, B 1, C 2, D 3, E 4, F 5, G 6, H 7, I 8, J 9, K 10
22 Susan often uses apps on a smartphone or tablet and does 
most of her homework on a laptop. She is good at writing 
and formatting papers on her computer and has experience 
with creating complex tables and charts. Susan can type fast 
and accurately with 10 fingers without looking at the 
computer keyboard. She also knows a couple programming 
languages. This school year, she built her first own app.

A 0, B 1, C 2, D 3, E 4, F 5, G 6, H 7, I 8, J 9, K 10
Susan often uses apps on a smartphone or tablet and does  Change "formatting" to "editing." See rational for Grade 4, 
most of her homework on a laptop. She is good at writing 
item 17.
and editing papers on her computer and has experience with 
creating complex tables and charts. Susan can type fast and 
accurately with 10 fingers without looking at the computer 
keyboard. She also knows a couple programming languages. 
This school year, she built her first own app.

On a scale from 0‐10 where zero is not at all familiar and 10  On a scale from 0‐10 where zero is not at all familiar and 10 
is very familiar, how familiar with computers and digital 
is very familiar, how familiar with computers and digital 
technology do you think Susan is?
technology do you think Susan is?
A 0, B 1, C 2, D 3, E 4, F 5, G 6, H 7, I 8, J 9, K 10

VH155959

23 Kevin sometimes plays games on his smartphone or a 
computer, but usually does not use a computer for his 
homework. He used a computer a couple of times to
write a paper but never used a computer to create tables, 
charts, or presentations. Kevin can type with one or two 
fingers but has to search where the correct keys are on the 
computer keyboard.

A 0, B 1, C 2, D 3, E 4, F 5, G 6, H 7, I 8, J 9, K 10
No change

On a scale from 0‐10 where zero is not at all familiar and 10 
is very familiar, how familiar with computers and digital 
technology do you think Kevin is?
A 0, B 1, C 2, D 3, E 4, F 5, G 6, H 7, I 8, J 9, K 10

20