K-12 Principal Survey

Crosswalk of K-12 Principal Items to Research Questions and Uses in Analysis
1

A. Background Information 
Current position
Number of years the respondent has held current position
Number of years the respondent has worked at current school
Respondent's familiarity with the Noyce program
Awareness of Noyce recipients working at school
Number of Noyce recipients working at school
B. Information about Your School 
Type of school
Grade levels offered at respondent's school
Number of teachers on respondent's school staff roster
Number of qualified teachers on respondent's school roster
Number of teachers/Noyce recipients teaching Math/Science/All subjects
Sum of teachers/Noyce recipients teaching Math/Science/All subjects who  were highly qualified
Teacher attrition rate
Student attrition rate
C. Your School’s Relationship with Institutions of Higher Education (IHEs)
Formal or informal relationships with any IHEs
Type of activities that occurred through school's relationship with IHEs
School's relationship with the Noyce Programs at IHEs attended by Noyce teachers working at 
respondent's school
D. Noyce Teachers Qualifications/Performance
Perceptions of the qualifications of Noyce recipients 
Hiring process at respondent's school
Outcome of this year's hiring process at respondent's school
Do you believe that the Noyce Program has helped increase the number of qualified math and/or science 
teachers available for the 2010‐2011 year?
E: Benefits & Burdens of The Noyce Program
Benefits/Burdens of the Noyce Program 
Perceptions of Noyce teacher(s) at respondent's school

Analysis

RQ 5d

RQ 3d

RQ 3a

Survey Item

RQ 2c

2

Research Questions

M
M
M,A
M
M
M
•
•
•
•
•
•
•
•

D
D
D
D
D
D
D
D
•
•
•

D
D
D

•

D
M
M
D

•
•

D
D

1

Research Questions Answered by STEM Faculty Survey
RQ2c:  How do school principals perceive the qualifications and teaching performance of Noyce recipients?
RQ3a:  What are the demographic characteristics of schools/districts at which Noyce recipients teach?
RQ3d:  How do the schools in which Noyce recipients teach work with Noyce IHEs? 
RQ5d:  How do the Noyce awards affect teacher effectiveness, as measured by certification tests and principal assessment?

2

Analysis Notes
A: indicates that the variable from this item is used for administrative purposes (e.g., background information, to drive skip 
patterns)
D: indicates that the variable from this item is used in descriptive analysis
P: indicates that the variable from this item is used as a predictor for relational/impact analysis
O: indicates that the variable from this item is used as an outcome
C: indicates that the variable from this item is used as a control variable
M: indicates that the variable from this item could be used to describe the teaching certification program but it is not tied to a 
particular research question

K‐12 Principal Survey Items 

Dear [Respondent Name], 

The National Science Foundation (NSF) is funding an evaluation of the Robert Noyce Teacher 
Scholarship program and, as a principal of a school where at least one Noyce recipient is 
teaching, we would love to gather some information from you regarding your experiences. 

This survey is being conducted by Abt Associates Inc., an independent social research firm, to 
gain a better understanding of the effectiveness of the Noyce Program, and how the program 
as a whole is attracting and retaining science and math teachers.  It is part of a comprehensive 
evaluation, the results of which will be used to make recommendations regarding the Noyce 
Program.   

OMB Clearance Number: XXXX‐XXXX 

Expiration Date: XX/XX/XXXX

Burden Disclosure Statement 
According to the Paperwork Reduction Act of 1995, no persons are required to respond 
to a collection of information unless it displays a valid OMB control number. The valid 
OMB control number for this collection is XXXX‐XXXX.  Public reporting burden for this 
collection of information is estimated to average 20 minutes, including the time for 
reviewing instructions, searching existing data sources, gathering and maintaining the 
data needed, and completing and reviewing the collection of information. 

Confidentiality and Participation 
Participation in the survey is voluntary and nonparticipation will have no impact on you or your 
institution.  You may skip questions on the survey or discontinue participation at any time. Your 
responses to this survey will be protected under the Privacy Act.  There is minimal risk of breach 
of confidentiality.  Procedures are in place to minimize this risk.  All information that would 
permit identification of an individual respondent will be held in strict confidence, will be used 
by only persons engaged in and for the purpose of the survey, and will not be disclosed or 
released to others for any purpose except as required by law.  Your responses will be combined 
with about 500 others. 

If you have questions about the study, please contact the Project Director at Abt Associates, 
Ellen Bobronnikov, by e‐mailing NoyceEval@abtassoc.com or calling (617) 349‐2718.   You may 
also contact Connie Kubo Della‐Piana, the Program Evaluation Officer at the Division of 
Undergraduate Education within the National Science Foundation, by e‐mailing 
cdellapi@nsf.gov. 

Completing the Survey 
Please use the survey's navigation buttons (not your browser buttons) to move through the 
questionnaire. You may exit the survey by closing your browser window and returning to the 

Principal Survey 

1 

survey to finish at a later time; simply click the link below and you will return to the point where 
you left off.  

We estimate that it will take approximately 20 minutes to complete the survey.  If you need 
help accessing the survey or navigating the screens, you may contact Paul Schroeder, the 
survey director at Abt SRBI, at p.schroeder@srbi.com. Or, call us toll‐free at 1‐888 772‐4269 
between 9:00 a.m. and 9:00 p.m. EDT, and ask to speak to someone about Study XXXX.  

Throughout this survey, key terms will be underlined and include definitions as you roll‐over the 
text with your mouse.   For a complete list of these key terms, click here. [Add Hyperlink to 
Glossary]. 

For answers to commonly asked questions about this study, click here [Add Hyperlink]. 

Consent 
If you agree to participate in this study, please press “Next” to continue with the survey. 

Programming Instructions:










Programming instructions are indicated in blue text.   
Terms that require rollover definitions are highlighted in blue.  See Glossary document for 
full list of definitions. 
A text box should appear whenever a respondent selects a response option with the text 
“Other (Specify)”, “Other (Explain)” or something similar. 
Unless otherwise indicated, only one response is allowed per question. 

If response list includes “None of the above,” only allow this to be checked if all the other 
items are unchecked. 

Principal Survey 

2 

A. Background Information  

A1.  Are you the principal at [SCHOOL]?  If not, what is your official title? 
1 
0 

Yes 
No (Specify title: ______________________________) 

A2.  For how many academic years have you held this position at [SCHOOL]? 
I have held this position for a total of: [dropdown menu]







Less than 1 year (2010-2011 is my 1st year in this position)
1 year (2009-2010 was my 1st year in this position)
2 years
3 years
[Programming Instruction: List individual years through 20]
Over 20 years

A3.  For how many academic years have you worked at [SCHOOL] in any position? 
I have worked at [SCHOOL] for a total of: [dropdown menu]







Less than 1 year (2010-2011 is my 1st year working for this school)
1 year (2009-2010 was my 1st year working for this school)
2 years
3 years
[Programming Instruction: List individual years through 20]
Over 20 years

[Programming Instructions:   

If A2 > A3, display the following text with a text box: “You have indicated that you’ve held your 
current position longer than you have worked at this school.  Please explain, or adjust your responses 
to this and/or the previous questions.” 

If A3=”Less than 1 year”, ask A3a; otherwise, SKIP to A4.   

If A2 = “Less than 1 year” or blank and A3 is left blank, ask: “Were you working at [SCHOOL] during 
academic year 2009‐2010?”  If response = “Yes,” SKIP to A4.  If response = “No” or no answer is 
given, ask A3a, but change wording to “Since you were not working for [SCHOOL] during this year”.] 

A3a.  Most of this survey focuses on the 2009‐2010 academic year.  Since this is your first 
year working at [SCHOOL], please provide us with the name and contact information 
for last year’s principal, or another [SCHOOL] employee who could answer questions 
about the school and its faculty during the last academic year (2009‐2010). 
Name:
Title:
E‐mail:
Phone:


98 

Don’t Know 

[Programming instruction: SKIP to “Thank You Script” at the end of the survey and send auto‐
notification to Abt staff member who will verify/add new contact information from A2c and send a 
new survey to the correct K‐12 Administrator for this school.] 

Principal Survey 

3 

A4.   The Robert Noyce Teacher Scholarship Program, funded by the National Science 
Foundation (NSF), awards grants to institutions to provide scholarships and stipends to 
recruit and prepare talented Science, Technology, Engineering and Mathematics (STEM) 
professionals and students who commit to teaching in K‐12 settings, particularly in high‐
need districts.  How familiar are you with the Noyce Program? 
1 
2 
3 
4 

5  

I have never heard of it  
I am aware of it, but I know little about it. 
I am familiar with the Noyce Program, but I have not been involved with it. 
I used to be involved with the Noyce Program, but I was not involved in it during the 
most recently completed academic year (2009‐2010). 
I was involved with the Noyce Program during the most recently completed 
academic year (2009‐2010). 

[Programming Instruction:  Please keep A5, A6 and A6a on the same screen.] 

A5.   According to NSF records, the following Noyce recipients worked for [SCHOOL] during the 
2008‐2009 academic year.  Please tell us if each of the following teachers also worked at 
[SCHOOL] during the most recently completed academic year (2009‐2010)?  
[TEACHER 1]  
1  Yes 
0  No 
[TEACHER 2]  
1  Yes 
0  No 
[TEACHER 3]  
1  Yes 
0  No 
… 
1  Yes 
0  No 

Please Note:  These teachers will be referred to as “Noyce teachers” throughout this survey. 

A6.  Are you aware of any other Noyce teachers who worked at [SCHOOL] last year – i.e., 
during the most recently completed academic year (2009‐2010)? 
Yes [Ask A6a] 
0  No [Skip to Programming Instruction below] 

A6a.  In total, how many Noyce teachers worked for your school during the 2009‐2010 
academic year? Please include 2009‐2010 Noyce teachers listed in question A5. 

1 

 [Programming Instruction: If the sum of A5 = 0 and QA6=0, go to closing screen that says: “For this 
evaluation, we are interested in speaking with principals in schools where Noyce teachers taught during the 
most recently completed academic year (2009‐2010). Thank you for your time.”]  

Principal Survey 

4 

B. Information about Your School  

Unless otherwise indicated, when answering the following questions, please think about all the 
teachers working for [SCHOOL] during the most recently completed academic year (2009‐2010), 
regardless of whether they participated in the Noyce Program.  

B1.   Which of the following best describes the school type for [SCHOOL]?(Check one) 
Regular public school 
Charter school 
Magnet school  
Private school 
Other (Please Describe) 

1 
2 
3 
4 
95 

B2.   What grade level(s) were offered at your school during the most recently completed academic 
year (2009‐2010)?  

Kindergarten 

5  

1st 

6  

2nd 

7  

3rd  

8  

1  
2  

3  
4  

4th  

9  

8th  

5th  

10  

6th  

11  

7th  

12  

12th  

13  

9th  

Other (e.g. in a GED/Alternative 
High School) 

14  

10th  

11th 

B3.   How many teachers were on your school’s staff roster (across all grades and subject 
areas) during the 2009‐2010 academic year? 

98 

Don’t Know  

[Programming Instructions: 

Required question.  If no response is given, display text: “This is a required question; please try to 
obtain this information before continuing with this survey.  If you are unable to provide a response, 
please select ‘Don’t Know.’” 

Zero is not a valid response.   

If B3 = Don’t Know or blank, request that respondent locate this information, as well as the total 
number of mathematics and science teachers, before continuing. 

If a numeric response is not given for B3, skip to B5.] 

Principal Survey 

5 

B4. On question B3, you indicated your school had a total of [RESPONSE TO B3] on its staff 
during the most recently completed academic year (2009‐2010). How many of these 
teachers were “highly qualified” as defined by NCLB? 

[Programming Instructions:  
 If B4 > B3, prompt for clarification. 

B5.   Focusing specifically on teachers who were responsible for teaching mathematics and/or 
science, how many of the following types of teachers were on your school’s staff during 
the 2009‐2010 academic year?   

Of these teachers, how many were Noyce recipients? 

A.

B.
C.
D.

Teachers at Your  Noyce Teachers at 
Your School 
School 
[B5_NOYCE] 
[B5_ALL] 
Classroom teachers who teach all subjects (e.g.,   

elementary grade teachers who teach 
mathematics and science)  
Teachers who are primarily responsible for 

teaching Mathematics only 
Teachers who are primarily responsible for 

teaching Science  only 
Teachers who are primarily responsible for 

teaching both Mathematics and Science, and 
generally do not teach other subjects.  
TOTAL  [Auto Sum] 

[Auto Sum] 

[Programming Instructions:  

When this question first appears on the screen, just display the first column of the matrix.  After 
numbers are entered for “all teachers,” respondent should press the “next” or “continue” button and 
the text/cells for the rest of the matrix should be displayed.  

If first column is left blank request that respondent locate this information before continuing.  

Prompt for clarification if any of the following are true: (1) total number of teachers is greater or equal 
to response to B3, (2) total number of Noyce teachers is greater than total number of teachers for any 
category, or (3) total number of Noyce teachers does not match total calculated from questions A5 
and A6.] 

Principal Survey 

6 

[Programming Instruction:  If B2 indicates R works in an elementary school (i.e., K‐5 = checked, 
but 6‐12 not checked) or Sum of B5_ALL B+C+D = Zero or missing, SKIP to Question B8.]. 

Questions B6 and B7 refer to teachers in your schools who only teach math and/or science (and 
generally do not teach other subjects).  You previously indicated that there were [SUM OF 
B5_ALL B+C+D] such teachers at your school during the most recently completed academic year 
(2009‐2010). 

B6. Of the [SUM OF B5_ALL B+C+D] teachers who only taught math and/or science during the 
2009‐2010 academic year, how many were “highly qualified” as defined by NCLB? 

[Programming Instructions: If B6 > B4_All total, prompt for clarification. 

B7. Approximately, what was the overall teacher turnover rate from 2009‐2010 to 2010‐2011 
among the [SUM OF B5_ALL B+C+D] teachers who only taught math and/or science during 
the 2009‐2010 academic year? 

% 

[Programming Instructions: Valid values: 0‐100%] 

B8. What was the overall student dropout rate from 2009‐10 to 2010‐11 at your school? 

% 

[Programming Instructions: Valid values: 0‐100%] 

Principal Survey 

7 

C. Your School’s Relationship with Institutions of Higher Education (IHEs) 

C1. During the most recently completed academic year (2009‐2010), did your school have 
either formal or informal relationships with any institutions of higher education (IHE)?  
This relationship might involve selecting student teachers and/or prospective teacher 
candidates from a specific IHE; teacher participation in in‐service courses or workshops 
offered by the IHE; or student participation in mentorship or enrichment programs hosted 
by the IHE. 
1 
0 

Yes 
No [Skip to Question D1] 

C2. Please indicate which types of activities occurred through your school’s relationship with 
these institutions of higher education (IHEs).   (check all that apply)  
My school recruited student teachers from one or more of the IHEs 
1  Student teachers from one or more of the IHEs completed student teaching at my 
school 
1  My school interviewed prospective teacher candidates from one or more of the IHEs 
1  Teachers at my school participated in teacher in‐service courses or workshops 
offered by one or more of the IHEs (either at my school or at the IHE) 
1  IHE faculty/staff and/or students hosted mentorship programs for students from my 
school 
1  My school sent students on campus visits to local IHEs (i.e., as prospective students 
as participants in enrichment activities, etc.)  
1  My school sent students to local IHEs to take mathematics and/or science courses 
1  Other (Please Specify) 

C3. Which of the following activities best describes your school’s relationship with the Noyce 
Programs at IHEs attended by Noyce teachers who work in your school? (check all that 
apply) 
1 

1  
1  
1  
1 
1  

Someone from my school attends annual meetings with Noyce program 
administrators 
Someone from my school communicates via email/phone with Noyce program 
administrators  
No one at my school is involved with the Noyce Program  
Other (Please Specify) 
Don’t know 

[Programming Instruction: If response option c is checked, no other option may be 
selected.] 

Principal Survey 

8 

D. Noyce Teachers Qualifications/Performance 

D1. Thinking about the most recently completed academic year (2009‐2010), how would you 
describe the professional qualifications of Noyce teachers in your school to teach your 
school’s student body, compared to other teachers responsible for teaching mathematics 
and science content?   

Less 
Qualified 
than 
Other 
Teachers 

Noyce teachers are… 
Better 
Equally 
Lack 
Qualified 
Qualified 
Sufficient 
than 
as Other 
Information
Other 
Teachers 
to Answer 
Teachers  

a.

Understanding of mathematics/science  concepts 

1 

2 

3 

NA 

b.

Demonstrated ability to generalize skills in 
mathematics/science to real‐life situations and other 
disciplines  

1 

2 

3 

NA 

Demonstrated ability to apply instructional strategies 
that are consistent with evidence‐based best 
practices 

1 

2 

3 

NA 

d.

Demonstrated ability to foster an engaging classroom 
environment 

1 

2 

3 

NA 

e.

f.

Demonstrated ability to ask questions that enhance 
students’ understanding/problem‐solving for 
mathematics/science concepts 

1 

2 

3 

NA 

Demonstrated ability to use professional 
development and other learning opportunities to 
hone teaching craft/develop professionally 

1 

2 

3 

NA 

Demonstrated ability to implement or deploy diverse 
teaching methods to get concepts across to a diverse 
student body 

1 

2 

3 

NA 

i.

Willingness to take on leadership roles  

1 

2 

3 

NA 

j.

Demonstrated ability to successfully engage in 
leadership  

1 

2 

3 

NA 

c.

g.

h.

Principal Survey 

9 

Hiring Decision for the Current Academic Year (2010­11) 
In answering the following questions, please think about the hiring decisions your school made 
to prepare for the current academic year (2010‐11).  

D4.   Please indicate how the hiring process works at your school: (Check all that apply) 
Candidates apply to my district office and the district office funnels eligible 
candidates’ applications to my school 
1  Candidates apply directly to my school 
1  We were not hiring new teachers 
1  Other (Please Describe) 
1 

[Programming Instruction: If response option 3 is checked, no other option may be 
selected.]  

D5a.  Were you able to hire an adequate number of qualified mathematics teachers to fill 
empty positions at your school?  
1 
2 
3 

Yes 
No 
N/A ‐ my school did not have any openings for mathematics teachers this year 

D5b.  Were you able to hire an adequate number of qualified science teachers to fill empty 
positions at your school?  
1 
2 
3 

Yes 
No 
N/A ‐ my school did not have any openings for science teachers this year 

D6.   Do you believe the Noyce Program helped increase the number of qualified mathematics 
and/or science teachers available for the 2010‐11 academic year? 
1  Yes  
0  No 
98  Don’t Know 

Principal Survey 

10 

E: Benefits & Burdens of the Noyce Program 

E1.

Thinking about the Noyce teachers at your school, please rate your agreement with the 
following statements about the Noyce Program at the Institution(s) of Higher Education 
IHEs) this/these Noyce teacher(s) attended:  

Strongly 
Disagree 

Disagree 

Agree 

The Noyce Program has 
strengthened my school’s 
relationship with the IHEs attended 
by my Noyce teachers. 

1 

2 

3 

4 

96 

98 

My school’s relationship with the 
Noyce Program presents an 
additional administrative burden. 

1 

2 

3 

4 

96 

98 

The administrative work required by 
the Noyce Program is worthwhile 
given the benefits my school 
receives from our relationship. 

1 

2 

3 

4 

96 

98 

The Noyce Program has helped to 
increase the pool of qualified 
mathematics and science teachers 
at my school. 

1 

2 

3 

4 

96 

98 

The Noyce Program has helped to 
increase the quality of mathematics 
and science courses taught at my 
school. 

1 

2 

3 

4 

96 

98 

f.

I would hire another candidate from 
the Noyce Program.  

1 

2 

3 

4 

96 

98 

g.

I would hire another candidate from 
the Institution(s) of Higher 
Education IHEs) attended by my 
Noyce teacher(s) regardless of 
whether they are part of the Noyce 
Program 

1 

2 

3 

4 

96 

98 

a.

b.

c.

d.

e.

Strongly 
Not 
Agree  Applicable 

Don’t 
Know  

E2.  Please describe, in no more the 250 words, your perceptions of Noyce teacher(s) at your 
school. 

Thank you for completing this survey! 

Principal Survey 

11 

Glossary 

Throughout this survey, the following terms are used.  

K‐12 
This acronym refers to the grades kindergarten (K) through 12th grade (12). It indicates that an 
individual has experience working with students or teachers in one or more of these grade levels.    

Highly Qualified Teacher 
As defined by the No Child Left Behind Act of 2001 (NCLB), A “Highly Qualified” Teacher is a 
teacher who is: fully certified and/or licensed by the state; holds at least a bachelor's degree from 
a four‐year institution; and demonstrates competence in each core academic subject area in which 
the teacher teaches. 

Noyce Program: see entry for Robert Noyce Teacher Scholarship Program. 

Overall student dropout rate 
Overall student dropout rate refers to the percentage of students who were enrolled at your 
school during the 2008‐2009 academic year who did NOT return for academic year 2009‐2010 
(excluding students who graduated or otherwise progressed to a grade level not taught in your 
school). 

Overall teacher turnover rate 
Overall teacher turnover rate refers to the percentage of mathematics and science teachers who 
taught at your school during the 2008‐2009 academic year who did NOT return to teach at your 
school for academic year 2009‐2010.  

Robert Noyce Teacher Scholarship Program 
The Robert Noyce Teacher Scholarship Program, funded by the National Science Foundation (NSF), 
awards grants to institutions to provide scholarships, stipends, fellowships, and internships to 
recruit and prepare talented Science, Technology, Engineering and Mathematics (STEM) 
professionals and students who commit to teaching in K‐12 settings, particularly in high‐need 
districts.   

Principal Survey 

12