K-12 Principal Survey

Appendix F
K-12 Principal Crosswalk
and Survey

Crosswalk of K-12 Principal Items to Research Questions and Uses in Analysis

A. Background Information 
Current position
Number of years the respondent has held current position
Number of years the respondent has worked at current school
Respondent's familiarity with the Noyce program
Awareness of Noyce recipients working at school
Number of Noyce recipients working at school
B. Information about Your School 
Type of school
Grade levels offered at respondent's school
Number of teachers on respondent's school staff roster
Number of highly qualified teachers on respondent's school roster
Number of teachers/Noyce recipients teaching Math/Science/All subjects
Sum of teachers/Noyce recipients teaching Math/Science/All subjects who  were highly qualified
Average turnover rate for math and science teachers in schools where Noyce recipients teach
Average student dropout rate in schools where Noyce recipients teach
C. Your School’s Relationship with Institutions of Higher Education (IHEs)
Formal or informal relationships with any IHEs
Type of activities that occurred through school's relationship with IHEs
School's relationship with the Noyce Programs at IHEs attended by Noyce teachers working at 
respondent's school
D. Noyce Teacher Qualifications/Performance
Perceptions of the proferssional qualifications of Noyce recipients compared to other math and science 
teachers
E. Hiring Decisions for the Current Academic Year
Hiring process at respondent's school
Outcome of this year's hiring process at respondent's school
Do you believe that the Noyce Program has helped increase the number of qualified math and/or 
science teachers available for the 2010‐2011 year?
F: Benefits & Burdens of The Noyce Program
Benefits/Burdens of the Noyce Program 
Perceptions of Noyce teacher(s) at respondent's school

1

Analysis

RQ 3c

RQ 3a

RQ 2c

Survey Item

RQ 2b

2

Research Questions1

A
M
M
M,A
M,A
M
•
•
•
•
•
•
•
•

D
D
D
D
A,D
D
D
D
•
•
•

D
D
D

•

D

•

•

M
M
D

•

•
•

D
D

Research Questions Answered by K‐12 Principal Survey
RQ2b: What are school principals’ perceptions of benefits and burdens imposed by the Noyce award for their K‐12 schools?  
RQ2c: How do school principals perceive the qualifications and teaching performance of Noyce recipients?
RQ3a: What are the demographic characteristics of schools/districts at which Noyce recipients teach?
RQ3c: How do the schools in which Noyce recipients teach work with Noyce IHEs? 

2

Analysis Notes

Principal Survey Items

Dear [Respondent Name], 

The National Science Foundation (NSF) is funding an evaluation of the Robert Noyce Teacher 
Scholarship Program and, as a principal of a school where at least one Noyce recipient is 
teaching, we would like to gather some information from you regarding your experiences. 

This survey is being conducted by Abt Associates Inc., an independent social research firm, to 
gain a better understanding of the effectiveness of the Noyce Program, and how the program 
as a whole is attracting and retaining science and math teachers.  It is part of a comprehensive 
evaluation, the results of which will be used to make recommendations regarding the Noyce                                  
Program.   

OMB Clearance Number: XXXX‐XXXX 

Expiration Date: XX/XX/XXXX

Burden Disclosure Statement 
According to the Paperwork Reduction Act of 1995, no persons are required to respond 
to a collection of information unless it displays a valid OMB control number. The valid 
OMB control number for this collection is XXXX‐XXXX.  Public reporting burden for this 
collection of information is estimated to average 20 minutes, including the time for 
reviewing instructions, searching existing data sources, gathering and maintaining the 
data needed, and completing and reviewing the collection of information. 

Confidentiality and Participation 
Participation in the survey is voluntary, and nonparticipation will have no impact on you or your 
institution. All information that would permit identification of an individual respondent will be 
held in strict confidence, will be used by only persons engaged in and for the purpose of the 
survey, and will not be disclosed or released to others for any purpose except as required by 
law.  Reports will never identify respondents by name, and information from the study will only 
be reported in the aggregate at the program level, combined with about 125 other responses.  
Survey data files will be shared with the NSF at the end of the study, only after study team 
members have examined the data to be free of any information that could help identify you; 
your frank and open responses will help NSF make changes to improve the program to make it 
more effective.  Hence, we encourage you to respond candidly about your experiences.  

Principal Survey 

1 

If you have questions about the study, please contact us at NoyceEval@abtassoc.com.   You may 
also contact Joan Prival,  the Lead Program Director of the Robert Noyce Teacher Scholarship Program, 
by e‐mailing  jprival@nsf.gov, or Connie Kubo Della‐Piana, the Program Evaluation Officer at the Division 
of Undergraduate Education within the National Science Foundation, by e‐mailing cdellapi@nsf.gov.  
Completing the Survey 
[Programming instruction: Insert text from “Completing the Survey.doc”] 

Consent 

If you agree to participate in this study, please press “Next” to continue with the survey. 

Programming Instructions:





The text that is highlighted in yellow needs to be replaced.
Programming instructions are indicated in blue text.  
Terms that require rollover definitions are highlighted in blue.  See Glossary document for 
full list of definitions.
A text box should appear whenever a respondent selects a response option with the text 
“Other (Please specify)”, “Other (Explain)” or something similar. 
Unless otherwise indicated, only one response is allowed per question. 
For questions that allow multiple responses, if “Don’t Know” or “Not Applicable” is 
checked, no other option may be selected.   
If response list includes “None of the above,” only allow this to be checked if all the other 
items are unchecked. 
We will send you a Glossary and FAQ document separately. 







Principal Survey 

2 

A. Background Information

A1.  What was your position at [SCHOOL] during the most recently completed academic year 
(2009‐2010)?   
1 
2 
3 
96 

Principal 
Vice Principal 
Other (Please specify your title) 
I was not working at [SCHOOL] during academic year 2009‐2010 

[Programming instruction:  If A1 = 96, SKIP to A3.  This question is required.  If R tries to move to the next 
question without answering A1, display text: “This question is required.  If you were not the Principal or Vice 
Principal at [SCHOOL] during academic year 2009‐2010, please select “other” and specify your title.  If you 
are still unsure how to answer this question based on your unique circumstances, please contact us at 
NoyceEval@abtassoc.com.  Thank you.”] 

A2a.  In which academic year did you first start working in this position at [SCHOOL]? 
I started working in this position at [SCHOOL] during academic year… [dropdown menu]






2009-2010
2008-2009
2007-2008
[Programming Instruction: List academic years going back to 1989-1990]
Before 1989-1990

A2b.  In which academic year did you first start working at [SCHOOL] in any position? 
I started working at [SCHOOL] during academic year… [dropdown menu]






2009-2010
2008-2009
2007-2008
[Programming Instruction: List academic years going back to 1989-1990]
Before 1989-1990

[Programming Instructions:  After A2b, SKIP to A4. Keep questions A2 and A3 on the same screen.  If A2a < 
A2b, display the following text with a text box: “According to the responses to the above questions, the 
year you started working in this position at [SCHOOL] is before the year you started working at [SCHOOL].”] 

Principal Survey 

3 

A3.  Most of this survey focuses on the 2009‐2010 academic year.  Since this is your first year 
working at [SCHOOL], please provide us with the name and contact information for last 
year’s principal, or another [SCHOOL] employee who could answer questions about the 
school and its faculty during the last academic year (2009‐2010). 
Name: 
Title: 
E‐mail: 
Phone: 


98 

Don’t Know / Prefer not to answer 

[Programming instruction: SKIP to “Thank You Script” at the end of the survey and send auto‐notification to 
NoyceEval@abtassoc.com with responses to A1‐A3; a new survey will be sent to the correct K‐12 
Administrator for this school.  Survey status = ineligible respondent] 

A4.   The Robert Noyce Teacher Scholarship Program, funded by the National Science 
Foundation (NSF), awards grants to institutions to provide scholarships and stipends to 
recruit and prepare talented Science, Technology, Engineering and Mathematics (STEM) 
professionals and students who commit to teaching in K‐12 settings, particularly in high‐
need districts.  Are you familiar with the Noyce Program?   
1 
0 

Yes, I am familiar with the Noyce Program. 
No, I have never heard of it  

[Programming Instruction:  Please keep A5, A6 and A6a on the same screen.] 

A5.   According to NSF records, the following Noyce recipients worked for [SCHOOL] during the 
2008‐2009 academic year.  Please tell us if each of the following teachers also worked at 
this school during the most recently completed academic year (2009‐2010)? Add a “Not 
sure/ Don’t Know” option 
[TEACHER 1]  
[TEACHER 2]  
[TEACHER 3]  
… 

Yes 
1  Yes 
1  Yes 
1  Yes 
1  

 No 
0  No 
0  No 
0  No 
0 

[Programming note:  Replace TEACHER 1, 2, 3… with the names of all teachers in our sample who are 
connected with this school.  If there is only one such teacher, please adjust the text accordingly.] 

Please Note:  These teachers will be referred to as “Noyce teachers” throughout this survey. 

A6.  Are you aware of any other Noyce teachers who worked for [SCHOOL] last year – i.e., 
during the most recently completed academic year (2009‐2010)? 
1 
0 

Yes [Ask A6a] 
No [Skip to Programming Instruction below] 

Principal Survey 

4 

A6a.  In total, how many Noyce teachers are you aware of that worked for your school 
during the 2009‐2010 academic year?  

[RANGE= 0‐100] 
 [Programming Instruction: If the sum of A5 = 0 and QA6=0, go to closing screen that says: “For this 
evaluation, we are interested in speaking with principals in schools where Noyce teachers taught during the 
most recently completed academic year (2009‐2010). Thank you for your time.”  Survey status = ineligible 
school. Include a back button on this “thank you” page so R has the option of revising their response to A6a 
and finishing the survey.]  

Principal Survey 

5 

B. Information about Your School

B1.   Which of the following best describes the school type for [SCHOOL]? (Check one) 
1 
2 
3 
4 
95 

Regular public school 
Charter school 
Magnet school  
Private school 
Other (Please describe) 

Programming instructions:  If this question is left blank, please display the following soft prompt: “Please 
try to provide a response for this question.  If you are unsure which option best describes your school, 
please select “Other” and explain.  Thank you!”   

B2.   What grade level(s) were offered at your school during the most recently completed academic 
year (2009‐2010)? I would keep this in a list format 

Prekindergarten 

5  

Kindergarten 

6  

1st 

7  

2nd 

8  

1  
2  
3  

4  

3rd 

9  

7th 

4th  

10  

5th  

11  

6th  

12  

11th 

13  

8th  

14  

9th  

15  

10th  

12th  
Other (e.g. in a GED/Alternative 
High School) (Please specify) 

 Programming instructions:  If this question is left blank, please display the following soft prompt: 
“Please indicate which grade levels were offered at your school during academic year 2009‐2010.  If you 
are not sure how to answer this question, please select “Other” and explain.  Thank you!”   

Principal Survey 

6 

Unless otherwise indicated, when answering the following questions, please think about all the 
teachers working for [SCHOOL] during the most recently completed academic year (2009‐2010), 
regardless of whether they received support from the Noyce Program.   

B3.   How many teachers were on your school’s staff roster (across all grades and subject 
areas) during the 2009‐2010 academic year? 

98 

Don’t Know 

[Programming Instructions: 

Required question.   

RANGE= 0‐1000 

If B3 < A6a, display the following error message, but still allow R to continue: “Earlier you noted that 
there were a total of [A6a] Noyce teachers working at your school during 2009‐2010. The total 
number of teachers entered for the current question must be greater than or equal to this number. 
Please adjust your response.” 

Zero is not a valid response.  Text: “Zero is not a valid response.  If your school was not operating 
during the 2009‐2010 academic year, please e‐mail NoyceEval@abtassoc.com 

If response = Don’t Know or Missing, display text: “Information on staff counts is necessary in order 
to answer several of the following questions accurately.  Please locate this information, as well as 
the total number of mathematics and science teachers, before continuing with the survey.  If you 
are unable to do this, and cannot come up with a good estimate, you may select “Don’t Know” and 
click “next” to continue.”  If response still = “Don’t Know,” skip to B5.] 

B4. In the previous question, you indicated that your school had a total of [RESPONSE TO B3] 
teachers on its staff during the most recently completed academic year (2009‐2010). How 
many of these teachers were “highly qualified”, as defined by NCLB? 

98 

Don’t Know  

[RANGE= 0‐1000] 

[Programming Instructions:  If B4 > B3, prompt for clarification.  If B3 = “Don’t Know,” skip this question. ] 

Principal Survey 

7 

B5.   Focusing specifically on teachers who were responsible for teaching mathematics and/or 
science, how many of the following types of teachers were on your school’s staff during 
the 2009‐2010 academic year?   
Each teacher should only be counted in one row. If there are no teachers in a particular 
category, enter zero. 
[Programming Instructions:  When this question first appears on the screen, just display the first column of 
the matrix and the question presented above.  After the respondent clicks the “next” button, display the 
following question and the rest of the matrix.] 

To the best of your knowledge, how many of these teachers received support from the 
Noyce Program? 

A. Classroom teachers who teach all subjects (e.g., 
elementary grade teachers who teach 
mathematics and science)  
B. Teachers who are primarily responsible for 
teaching Mathematics only 
C. Teachers who are primarily responsible for 
teaching Science  only 
D. Teachers who are primarily responsible for 
teaching both Mathematics and Science, and 
generally do not teach other subjects.  

Among Noyce 
Teachers only 
[B5_NOYCE] 

Among all 
math/science 
teachers 
[B5_ALL] 

TOTAL  [Auto Sum] 

[Auto Sum] 

[RANGE= 0‐200 for each] 
 [Programming Instructions:  

If any cell in the first column is left blank, display the following text: “Please enter a response in all 4 
cells; if there are no teachers in a particular category, enter a zero.”  If cells are still left blank, display 
the following text: “Responses to this question are necessary in order to answer several of the 
following questions accurately.  Please try to locate this information before continuing with the 
survey.  If you are still unable to enter this information, leave the cell(s) missing and click “next” to 
continue with the survey.”    

If total number of teachers at school is greater than the response to B3, display text: “Previously, you 
indicated that there were [B3 response] teachers on your school’s staff roster during the 2009‐2010 
academic year.  However, more than [B3 response] teachers are referenced in this question.  Please 
adjust your responses to this question, or you may click NEXT to continue.” 

For any single row, if the number of Noyce teachers is greater than total number of teachers, display 
text” “For each row, the number of Noyce Teachers should be less than or equal to the total number 
of teachers.  Please revise, or you may click NEXT to continue.” 

If the total number of Noyce teachers does not match total calculated from questions A5 and A6, 
display text: “According to responses you gave earlier in the survey, you are aware of [A6a] Noyce 
teachers that worked for your school during the 2009‐2010 academic year.  However, [Sum of B5, 
column 2] Noyce teachers are referenced below.  Please revise or click NEXT to continue.” 

Principal Survey 

8 

[Programming Instruction:  If Sum of B5_ALL rows B+C+D = Zero, or any of these cells = DK or Missing, SKIP to 
Question B8.] 

The next two questions refer to teachers in your school who only teach math and/or science 
(and generally do not teach other subjects).  You previously indicated that there were [SUM OF 
B5_ALL rows B+C+D] such teachers at your school during the most recently completed 
academic year (2009‐2010). 

B6. Of the [SUM OF B5_ALL rows B+C+D] teachers who only taught math and/or science during 
the 2009‐2010 academic year, how many were “highly qualified” as defined by NCLB? 

98 

Don’t Know  

[RANGE= 0‐200] 
[Programming Instructions: If B6 > SUM OF B5_ALL rows B+C+D , prompt for clarification: “In the previous 
question, you indicated that there were [SUM OF B5_ALL rows B+C+D] teachers in your school who only 
taught math and/or science during academic year 2009‐2010.  Please enter a number that is less than or 
equal to [SUM OF B5_ALL rows B+C+D] or revise your responses to the previous question.”] 

B7. Of the [SUM OF B5_ALL rows B+C+D] teachers who only taught math and/or science during 
the 2009‐2010 academic year, how many did not return during the 2010‐2011 academic 
year? 

98 

Don’t Know  

[Programming Instructions: If B7 > SUM OF B5_ALL rows B+C+D , prompt for clarification: “In a previous 
question, you indicated that there were [SUM OF B5_ALL rows B+C+D] teachers in your school who only 
taught math and/or science during academic year 2009‐2010.  Please enter a number that is less than or 
equal to [SUM OF B5_ALL rows B+C+D].”] 

B8. What was the overall student mobility rate from 2009‐2010 to 2010‐2011 at your school? 

% 
98 

Don’t Know  

[Programming Instructions: Valid values: 0‐100%: “Please enter a response between 0 and 100.” ] 

Principal Survey 

9 

C. Your School’s Relationship with Institutions of Higher Education (IHEs)

C1. During the most recently completed academic year (2009‐2010), did your school have 
either formal or informal relationships with any institutions of higher education (IHE)?  
This relationship might involve selecting student teachers and/or prospective teacher 
candidates from a specific IHE; teacher participation in in‐service courses or workshops 
offered by the IHE; or student participation in mentorship or enrichment programs hosted 
by the IHE. 
Yes 
0  No [Skip to Question D1] 
98  Don’t Know [Skip to Question D1] 
1 

C2. Please indicate which types of activities occurred through your school’s relationship with 
these institutions of higher education (IHEs).   (check all that apply)  
My school recruited student teachers from one or more of the IHEs 
1  Student teachers from one or more of the IHEs completed student teaching at my 
school 
1  My school interviewed prospective teacher candidates from one or more of the IHEs 
1  Teachers at my school participated in teacher in‐service courses or workshops 
offered by one or more of the IHEs (either at my school or at the IHE) 
1  IHE faculty/staff and/or students hosted mentorship programs for students from my 
school 
1  My school sent students on campus visits to local IHEs (i.e., as prospective students 
as participants in enrichment activities, etc.)  
1  My school sent students to local IHEs to take mathematics and/or science courses 
1  Other (Please Specify) 
1   Don’t know 

1 

Programming instruction:  Please select at least one response below.  If your school did not have a 
relationship with any IHE’s, please press the “Back” button and revise your response to the previous 
question.  If the type sof activities that did occur are not listed below, please select “other” and describe 
the activities.” 

Principal Survey 

10 

C3. Which of the following activities best describes your school’s relationship with the Noyce 
Programs at IHEs attended by Noyce teachers who work in your school? (check all that 
apply) 
1  
1  
1  
1 
1  

Someone from my school attends annual meetings with Noyce Program 
administrators 
Someone from my school communicates via email/phone with Noyce Program 
administrators  
No one at my school is involved with the Noyce Program  
Other (Please Specify) 
Don’t know 

[Programming Instruction: If “Don’t Know”  or “No one at my school is involved with the Noyce Program” is 
checked, no other option may be selected.] 

Principal Survey 

11 

D. Noyce Teacher Qualifications/Performance

D1. Thinking about the most recently completed academic year (2009‐2010), how would you 
describe the professional qualifications of Noyce teachers in your school to teach your 
school’s student body, compared to other teachers responsible for teaching mathematics 
and science content?   

Noyce teachers are… 

Less 
Qualified  

Equally 
Qualified  

Lack 
Sufficient 
Better 
Information
Qualified   to Answer 

a.

Understanding of mathematics/science  concepts 

1 

2 

3 

98 

b.

Demonstrated ability to foster an engaging classroom 
environment 

1 

2 

3 

98 

c.

Demonstrated ability to ask questions that enhance 
students’ understanding/problem‐solving for 
mathematics/science concepts 

1 

2 

3 

98 

Demonstrated ability to implement or use diverse 
teaching methods to get concepts across to a diverse 
student body 

1 

2 

3 

98 

Demonstrated ability to successfully engage in 
leadership roles 

1 

2 

3 

98 

d.

e.

Programming instructions:  If any of these rows are not answered, display the following soft prompt: 
“Please try to provide a response for each item below.  If you don’t feel you’ve had enough exposure to 
the Noyce teachers in your school regarding a particular item, please select “lack sufficient information 
to answer this question”  Thank you!”   

Principal Survey 

12 

E. Hiring Decisions for the Current Academic Year (2010‐2011)
In answering the following questions, please think about the hiring decisions your school made 
to prepare for the current academic year (2010‐11).  

E1.   Please indicate how the hiring process works at your school. (Check all that apply) 
Candidates apply to my district office and the district office funnels eligible 
candidates’ applications to my school 
Candidates apply directly to my school 
1 
1  We were not hiring new teachers [SKIP to E4] 
1  Other (Please Describe) 
1 

[Programming Instruction: If “We were not hiring new teachers” is checked, no other option may be 
selected. ]  

E2.   Were you able to hire qualified mathematics teachers to fill empty positions at your 
school?  
1 
0 
96 

Yes 
No 
N/A ‐ my school did not have any openings for mathematics teachers this year 

E3.   Were you able to hire enough qualified science teachers to fill empty positions at your 
school?  
1 
0 
96 

Yes 
No 
N/A ‐ my school did not have any openings for science teachers this year 

[Programming Note:  If E2 and E3 = NA, SKIP to Section F. ] 

E4.   Do you believe the Noyce Program helped increase the number of qualified mathematics 
and/or science teachers available to the district for the 2010‐11 academic year? 
1 
0 
98 

Yes  
No 
Don’t Know 

Principal Survey 

13 

F: Benefits & Burdens of the Noyce Program

F1. Thinking about the Noyce teachers at your school, please rate your agreement with the 
following statements about the Noyce Program at the Institution(s) of Higher Education 
(IHEs) this/these Noyce teacher(s) attended:  

Strongly 
Disagree 

Disagree 

Agree 

The Noyce Program has 
strengthened my school’s 
relationship with the IHEs attended 
by my Noyce teachers. 

1 

2 

3 

4 

96 

98 

My school’s relationship with the 
Noyce Program presents an 
additional administrative burden. 

1 

2 

3 

4 

96 

98 

The administrative work required by 
the Noyce Program is worthwhile 
given the benefits my school 
receives from our relationship. 

1 

2 

3 

4 

96 

98 

The Noyce Program has helped to 
increase the number of qualified 
mathematics and science teachers 
at my school. 

1 

2 

3 

4 

96 

98 

The Noyce Program has helped to 
increase the quality of mathematics 
and science courses taught at my 
school. 

1 

2 

3 

4 

96 

98 

f.

I would hire another candidate from 
the Noyce Program.  

1 

2 

3 

4 

96 

98 

g.

I would hire another candidate from 
the Institution(s) of Higher 
Education (IHEs) attended by my 
Noyce teacher(s) regardless of 
whether they are part of the Noyce 
Program. 

1 

2 

3 

4 

96 

98 

a.

b.

c.

d.

e.

Strongly 
Not 
Agree  Applicable 

Don’t 
Know  

Programming instructions:  If any of these rows are not answered, or more than 3 are “Don’t Know,” 
display the following soft prompt: “Please try to provide a response for each item below.  If the item 
does not apply to you/your school, select ‘Not Applicable.’  Thank you!”   

F2.  Please describe, in no more the 250 words, your perceptions of Noyce teacher(s) at your 
school. 

Principal Survey 

14 

Thank you for taking the time to respond to this survey!  Your 
responses will help the National Science Foundation support teacher 
preparation in the future. 
[Programming instruction:  Once R submits responses, send them a thank you e‐mail/confirmation that responses 
have been submitted.] 

Principal Survey 

15